科学问题怎么变成模型 · 等变与不变
孤立分子转动、平移或镜像时,怎样比较模型输出?
知识地图
- 先比较坐标、能量和力
- 再区分不变、等变与平移
- 比较特征、增强与结构约束
- 用叉积检查镜像方向
一句话:无外场时,整体旋转和平移保持标量能量不变,力随旋转而转,而在固定右手系中反射后重算三维叉积比直接反射原叉积多一个负号。
读完会做什么:辨不变与等变,算叉积。
先备知识:会读三维坐标、向量和点积。
📑 本页目录(点开跳转)
05 · 等变与不变
转个角度还是同一个分子,普通网络却需要学到这项规则。
🎯 一句话
科学数据和图像都可能有对称性。旋转或平移孤立分子时,按输出量选比较规则。 先看输出是标量、位置还是方向量。普通网络不会仅因输入是坐标就自动满足这条规则,下面用特征、增强和结构约束作比较。
🔄 一、转一下、挪一下,什么变了
前两段实验各自需要 Python 与 NumPy,结果只验证教学构造。将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。原实验的 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。
import numpy as np
rng = np.random.default_rng(0)
X = rng.normal(size=(6, 3)) # 6 个原子的一个构象
t = np.deg2rad(30); c, s = np.cos(t), np.sin(t)
R = np.array([[c, -s, 0], [s, c, 0], [0, 0, 1]]) # 绕 z 轴转 30 度
XR = X @ R.T # ⭐ 同一个分子,只是换个朝向
XT = X + np.array([10.0, -4.0, 2.5]) # ⭐ 同一个分子,只是挪个位置
ctr = lambda P: P - P.mean(0) # 相对质心的坐标
dm = lambda P: np.sqrt(((P[:, None] - P[None]) ** 2).sum(-1)) # 两两距离矩阵
E = lambda P: np.exp(-dm(P)[np.triu_indices(len(P), 1)]).sum() # 只依赖距离的能量
def F(P): # 每个原子受的力 = -dE/dx
d = dm(P) + np.eye(len(P)) # 对角线加 1,避开除零
return (np.exp(-d)[..., None] * (P[:, None] - P[None]) / d[..., None]).sum(1)
print("coord RMS (scale) = %.4f" % np.sqrt((X ** 2).mean()))
print("%-16s %-11s %-11s" % ("quantity", "rotate", "translate"))
for name, f in [("raw coords", lambda P: P), ("centered coords", ctr), ("dist matrix", dm),
("centroid", lambda P: P.mean(0)), ("energy", E), ("force", F)]:
g = lambda P: np.max(np.abs(np.asarray(f(P)) - np.asarray(f(X))))
print("%-16s %-11.2e %-11.2e" % (name, g(XR), g(XT)))
print("force vs F(X) R^T: %.1e <- equivariant" % np.abs(F(XR) - F(X) @ R.T).max())
图采用列向量。正文代码按行存坐标,需写成 X′ = X Rᵀ + t、F(X′) ≈ F(X)Rᵀ。下面两列比较变换前后的最大差。代码中的 $E=\sum_{i<j}e^{-d_{ij}}$ 是人为设置、只依赖距离的教学能量,$F=-\nabla E$;没有实际力场单位或湿实验含义。假定不同原子不重合,不把这段代码当作分子动力学模拟器。
不变与等变,要用不同方式比较
表中的数是“变换后直接减去变换前”的最大差,不是各物理量本身。原坐标的 RMS 尺度为 0.8786。
| 检查的量 | 旋转后的最大差 | 平移后的最大差 |
|---|---|---|
| 原坐标 raw coords | 1.13e+00 | 1.00e+01 |
| 中心化坐标 centered coords | 9.26e-01 | 1.11e-15 |
| 距离矩阵 dist matrix | 4.44e-16 | 1.33e-15 |
| 质心 centroid | 2.08e-01 | 1.00e+01 |
| 能量 energy | 4.44e-16 | 4.44e-16 |
| 力 force | 3.59e-01 | 9.44e-16 |
先同转原力再比较,本例最大差 1.7e-16,属双精度误差量级。 按行向量约定,比较 F(XRᵀ) 与 F(X)Rᵀ。
怎么读结果(本例使用双精度,1e-15 量级可视作数值误差,不是数学上恰好为零):
raw coords转和挪都变。转 30 度差出 1.13,与原坐标的 RMS 0.8786 同量级。若直接用坐标表示,模型会看到这项差别。centered coords减掉质心后挪不动了,但转还是会变dist matrix两个都不动。这是距离表示对旋转、平移方便之处,不证明它对所有任务都优于坐标表示centroid和force都跟着一起动。转过之后的力在数值精度内等于F(X) R^T
🧭 二、两个词,一条不能混的线
| 名字 | 意思 | 哪些量是这样 | 混了会怎样 |
|---|---|---|---|
| 不变 invariant | 输入变了,输出一模一样 | 能量、溶解度、「是不是酶」、距离矩阵 | 若任务要求不变但模型未满足,朝向或位置差异可能增加学习负担;不能预先给出冗余占比 |
| 等变 equivariant | 输入变换后,输出按其类型的规则变化 | 力、预测出的坐标、速度、法向量 | 把向量分量强制不变会丢失正确的方向响应;向量的模长才可作为旋转不变量 |
不变是输出保持原样的等变特例。先问同一分子转 30 度后,预测的量是否应变,再选表示。
🌫️ 三、平移是最容易被忽略的那个
旋转大家都记得,平移常常没人管。看上表的 translate 列:坐标整整差了 10,而距离一动没动。
没有外部参考系的孤立体系通常可舍去整体原点。有固定受体、外场或边界时,保留相对环境的位置。 只中心化分子而忽略环境可能删掉有效信息。
中心化只要一行 P - P.mean(0)。中心化消去平移,保留朝向。
📉 四、有限增强与不变特征的对照
“训练时随机旋转是否就够了?”可以先比较。旋转不变的标签沿用,力和坐标标签需要同转。
固定模型和增强预算,用 300 个构象和按距离构造的能量。 每个构象随机摆 k 个朝向当成 k 个样本。 两个模型只差在吃什么:一个吃中心化坐标(转了就变),一个吃两两距离(转了不变)。
import numpy as np
tri = np.triu_indices(6, 1)
dst = lambda P: np.sqrt(((P[:, None] - P[None]) ** 2).sum(-1))[tri] # 表示 B:距离,转了不变
crd = lambda P: (P - P.mean(0)).ravel() # 表示 A:坐标,转了就变
def rot(r): # 随机旋转矩阵
Q, _ = np.linalg.qr(r.normal(size=(3, 3)))
return Q if np.linalg.det(Q) > 0 else Q * np.array([-1., 1, 1])
def make(seed, k): # 300 个构象,每个随机摆 k 个朝向
rc, rr = np.random.default_rng(seed), np.random.default_rng(77)
A, B, Y = [], [], []
for _ in range(300):
P = rc.normal(size=(6, 3))
y = np.exp(-dst(P)).sum() # ⭐ 标签只依赖距离 -> 和朝向无关
for _ in range(k):
Q = P @ rot(rr).T
A.append(crd(Q)); B.append(dst(Q)); Y.append(y)
return np.array(A), np.array(B), np.array(Y)
def fit(X, y, n=300): # 随机 ReLU 特征 + 岭回归,当小网络用
r = np.random.default_rng(5)
m, s = X.mean(0), X.std(0) + 1e-9
W = r.normal(size=(X.shape[1], n)) / np.sqrt(X.shape[1]); b = r.uniform(-1, 1, n)
f = lambda Z: np.maximum((Z - m) / s @ W + b, 0)
F = f(X); w = np.linalg.solve(F.T @ F + 1e-3 * len(y) * np.eye(n), F.T @ y)
return lambda Z: f(Z) @ w
TA, TB, yte = make(999, 1) # 测试集:300 个没见过的构象
err = lambda p, Z: np.sqrt(((p(Z) - yte) ** 2).mean())
print("baseline (always predict the mean) RMSE = %.4f" % yte.std())
for k in [1, 4, 16, 64]:
A, B, y = make(1234, k)
pa, pb = fit(A, y), fit(B, y)
print("rot/conf=%-3d n=%-6d coords %.4f | dists %.4f" % (k, len(y), err(pa, TA), err(pb, TB)))
r = np.random.default_rng(2024) # 同一个分子摆 32 个朝向,预测飘不飘
P = r.normal(size=(6, 3)); Qs = [P @ rot(r).T for _ in range(32)]
print("same molecule, 32 orientations: coords std = %.4f | dists std = %.1e"
% (pa(np.array([crd(q) for q in Qs])).std(), pb(np.array([dst(q) for q in Qs])).std()))
真实输出:
旋转增强与不变特征的对照
看 RMSE(越低越好)。代码中的 0.7182 是用这份测试集目标均值作常数预测的数学参照,不是从训练集拟合出的部署基线;旋转副本也不是新增独立分子。
| 每个构型的旋转副本数 | 训练行数 n | 坐标特征 RMSE | 距离特征 RMSE |
|---|---|---|---|
| 1 | 300 | 0.6521 | 0.1592 |
| 4 | 1200 | 0.4152 | 0.1592 |
| 16 | 4800 | 0.4034 | 0.1592 |
| 64 | 19200 | 0.3924 | 0.1592 |
同一分子 32 个朝向:预测标准差
| 表示 | 原稿记录 | 本次复跑 |
|---|---|---|
| 坐标特征 | 0.1861 | 0.1861 |
| 距离特征 | 4.2e-16 | 5.1e-16 |
旋转副本非独立。0.1861 与 0.7182 的比值不表示朝向贡献。 表中距离特征的两条标准差属浮点误差量级,跨环境的末位可不同。
三条读法:
- 本例中增强有帮助:坐标特征 RMSE 从 0.6521 降到 0.3924。训练行数变成 64 倍,但不是获得了 64 倍独立分子。
- 距离列在显示精度下保持 0.1592。旋转副本具有数学上相同的距离特征,浮点计算未必逐字节一致;本例的平均化拟合方式使重复行没有带来新信息。
- 同一分子 32 个朝向,坐标模型预测标准差为 0.1861;距离模型仅有浮点量级波动。0.1861 与基线 RMSE 0.7182 是不同统计量,不能相除后声称四分之一的信号来自朝向。
有限旋转增强只验证本次预算下的效果。 它不保证精确满足连续旋转对称性。这段实验只能说明当前表示、模型和增强预算下仍有差距,不能证明任何增强方案都无法学好,也不能推出固定的指数样本需求。
🧱 五、三档做法,够用就停
| 档 | 做法 | 代价 |
|---|---|---|
| ① 换成不变特征 | 距离矩阵、接触图、键角;带符号二面角还需区分正旋转与反射 | 标量目标可直接建立基线;向量或坐标输出还需要方向或几何解码,且须检查丢失的信息 |
| ② 训练时随机变换(增强) | 上面实验的左列 | 有限增强通常只提供近似约束;是否需要测试时增强,应由验证结果和成本决定 |
| ③ 结构上等变 | 例如使用按规则变换的标量与向量;有些架构还使用更高阶表示 | 实现和计算代价依架构而异;可用于标量或方向目标,不以“数据少”作为唯一门槛 |
若不变特征保留了任务所需信息,可先建立基线。仅把不变特征交给普通回归头,不能恢复任意整体朝向下的力或坐标;也可结合输入几何、能量梯度或等变解码器构造方向输出。SE(3) 含平移与正旋转,E(3) 还含反射。 处理手性时,两者不能当作同一个约束。参考EGNN 原始论文,其结构也说明等变不一定依赖昂贵的高阶表示。
距离矩阵不能区分镜像。 若目标需要区分手性,可加入定义了原子顺序的带符号二面角或标量三重积;它们在正旋转下不变,在反射下可以改变。退化构型可能不给出方向或正负号。下面用叉积看清条件。
自检时先同变原输出,容差依精度、尺度和计算路径。 对同一个输入随机旋转、平移多次。不变预测直接比较,等变预测先按对应规则变换后再比较。
容差取决于 float32/float64、输入尺度和计算路径,不能统一要求 1e-15。关闭 dropout 等随机行为,分别检查标签、坐标和向量是否使用了正确变换。
两条边怎样给出面积和方向?
镜像可以保留每对原子之间的距离。要看一对边围成的面的朝向,可以从同一个原子出发,依固定次序取两条边。回顾旋转时先变换原输出再比较和等变取决于输出类型。这里沿用列向量约定,坐标系始终固定。
设两条边是三维列向量 $a=(2,0,0)$ 和 $b=(0,3,0)$,长度使用同一种单位。在右手坐标系中,从 $+x$ 转向 $+y$ 时,右手四指弯向 $+y$,拇指指向 $+z$。以同样的办法从第一条边转向第二条,就能为两条不共线的边选出法向量的方向。
把这个带方向的面积量记作 $n=a\times b$,叫叉积(cross product)。对非零边,设两边夹角为 $\theta$,以弧度记,取 $0$ 到 $\pi$(含端点,$\pi$ 对应 $180^\circ$)。沿 $a$ 作底时,高是 $b$ 垂直于底的分量 $|b|\sin\theta$,所以平行四边形面积为 $|n|=|a||b|\sin\theta$,其中竖线表示向量长度。切开对角线,三角形面积为 $|n|/2$。若边以米计,面积以平方米计。
从分量算时,$a_x,a_y,a_z$ 表示 $a$ 沿三根轴的坐标,$b$ 同理。$n_z$ 是两条边在 $xy$ 平面的带符号面积 $a_xb_y-a_yb_x$:在二维面积行列式里,两项按边的顺序相减。沿右手系循环使用 $yz$、$zx$、$xy$ 平面,就得到另外两个坐标。比如 $n$ 的 $y$ 分量先取 $z$ 再取 $x$,这一步的顺序会决定符号。
$$n=(a_yb_z-a_zb_y,\ a_zb_x-a_xb_z,\ a_xb_y-a_yb_x).$$
代入得到 $n=(0\cdot0-0\cdot3,\ 0\cdot0-2\cdot0,\ 2\cdot3-0\cdot0)=(0,0,6)$。$n\cdot a=0\cdot2+0\cdot0+6\cdot0=0$,$n\cdot b=0\cdot0+0\cdot3+6\cdot0=0$,两点积为 0,叉积垂直于两条边。长度 $\sqrt{0^2+0^2+6^2}=6$,所以两种面积是 $6$ 与 $6/2=3$。
| 输入次序 | 叉积与方向 | 平行四边形/三角形面积 |
|---|---|---|
| $a,b$ | $(0,0,6)$,朝 $+z$ | $6$/$3$ |
| $b,a$ | $(0,0,-6)$,朝 $-z$ | $6$/$3$ |
| $a,2a$ 或 $a,0$ | $(0,0,0)$,方向无定义 | $0$/$0$ |
交换次序使分量公式的每项变号,例如 $b_xa_y-b_ya_x=0\cdot0-3\cdot2=-6$,长度保持 $6$。把第二条边换成 $2a=(4,0,0)$,只有 $x$ 分量非零,三项相减都得零;换成零向量时每个乘积本身就是零。
转过去与照镜子,法向量怎样变?
固定右手坐标系,只比较实三维正交变换。 设 $R$ 是 $3\times3$ 的实矩阵,$R^\mathsf{T}R=I$ 表示它保留点积与长度;$R^\mathsf{T}$ 是转置,$I$ 是保持向量原样的单位矩阵。行列式 $\det(R)$ 的绝对值是体积倍率。这里倍率为 $1$,符号表示保留右手朝向(正旋转,$+1$)还是颠倒它(反射型变换,$-1$)。
$Ra$ 和 $Rb$ 分别是把矩阵 $R$ 乘到两条原边后得到的新边。对这两条新边重算叉积,比较它和把旧叉积 $n$ 当普通向量乘上 $R$ 的结果:
$$(Ra)\times(Rb)=\det(R)\,R(a\times b).$$
因 $R$ 保持长度和夹角,新旧平行四边形面积相同。如果原叉积非零,$Rn$ 必然是新平面的一个法向量。右手朝向保持时就选 $Rn$,被反射翻转时就选相反方向。若原叉积为零,等式仍成立,双方均不给出方向。依据:UC Riverside 讲义中的正交变换证明。
用两种操作验证。绕 $+x$ 轴正向旋转 $90^\circ$,轴不动而 $+y$ 转到 $+z$、$+z$ 转到 $-y$,即把 $(x,y,z)$ 送到 $(x,-z,y)$。关于 $yz$ 平面反射时,只有 $x$ 取反,即 $R=\operatorname{diag}(-1,1,1)$,对角线上是三轴各自的乘数,其余元素为零。正旋转保留右手朝向,所以 $\det(R)=+1$。反射的三个轴乘数相乘,得到 $\det(R)=(-1)\cdot1\cdot1=-1$。
| 变换 | 两条新边 $Ra,Rb$ | 重算 $(Ra)\times(Rb)$ | 与直接变换 $Rn$ 比较 |
|---|---|---|---|
| 绕 $+x$ 转 $90^\circ$,$\det R=+1$ | $(2,0,0)$ 与 $(0,0,3)$ | $(0,0-2\cdot3,0)=(0,-6,0)$ | $Rn=(0,-6,0)$,同向 |
| $yz$ 平面反射,$\det R=-1$ | $(-2,0,0)$ 与 $(0,3,0)$ | $(0,0,(-2)\cdot3-0)=(0,0,-6)$ | $Rn=(0,0,6)$,重算得 $-Rn$ |
如果目标需要一个随镜像变号的标量,可以增加第三条有序边 $c$,再与 $n$ 做点积。叉积给向量,标量三重积给一个数。 令 $c=(0,0,1)$,则 $(a\times b)\cdot c=0+0+6\cdot1=6$,反射后 $Rc=c$,点积变为 $0+0+(-6)\cdot1=-6$。三重积为有符号体积,本例反射后由 6 变为 −6,共面时为 0。 只有非零值才给出正负手性信息。依据:MIT 18.022 的标量三重积。
推导:行列式为何给出反射的负号?
任取三维列向量 $c$。用 $[a\ b\ c]$ 表示以三个向量依次作列的矩阵,则标量三重积 $(a\times b)\cdot c=\det[a\ b\ c]$。把三列同乘 $R$,由行列式乘法得 $\det[R a\ R b\ R c]=\det(R)\det[a\ b\ c]$。
正交矩阵保持点积,故 $(a\times b)\cdot c=(R(a\times b))\cdot Rc$。这说明等式两边与任意 $Rc$ 的点积相同。$R$ 可逆,所以 $Rc$ 遍及所有三维列向量;取它等于两边之差,就得到差的长度平方为零,叉积变换式成立。
代码验证:复算面积、退化与两种变换
把下面程序保存成 cross_product.py,以 python cross_product.py 运行。它只用 Python 标准库。cross 对应三组分量相减,dot 检查垂直和长度。apply 将矩阵每行与原列向量做点积,最后一段循环用矩阵三行的标量三重积求行列式,比较重算结果和方向修正后的原结果。输入都是上面的整数算例。
from math import sqrt
def dot(a, b):
return sum(x * y for x, y in zip(a, b))
def cross(a, b):
ax, ay, az = a
bx, by, bz = b
return (ay * bz - az * by, az * bx - ax * bz, ax * by - ay * bx)
def apply(matrix, v):
return tuple(dot(row, v) for row in matrix)
a, b, c = (2, 0, 0), (0, 3, 0), (0, 0, 1)
zero = (0, 0, 0)
n = cross(a, b)
assert n == (0, 0, 6)
assert (dot(n, a), dot(n, b)) == (0, 0)
assert cross(b, a) == (0, 0, -6)
assert cross(a, (4, 0, 0)) == cross(a, zero) == zero
area = sqrt(dot(n, n))
assert (area, area / 2) == (6, 3)
print("areas:", area, area / 2)
print("swap:", cross(b, a), "triple:", dot(n, c))
rotation = ((1, 0, 0), (0, 0, -1), (0, 1, 0))
reflection = ((-1, 0, 0), (0, 1, 0), (0, 0, 1))
for name, matrix, expected_det, expected_normal in (
("rotation", rotation, 1, (0, -6, 0)),
("reflection", reflection, -1, (0, 0, -6)),
):
turned_a, turned_b = apply(matrix, a), apply(matrix, b)
recomputed = cross(turned_a, turned_b)
ordinary = apply(matrix, n)
det = dot(cross(matrix[0], matrix[1]), matrix[2])
triple = dot(recomputed, apply(matrix, c))
assert det == expected_det
assert recomputed == expected_normal == tuple(det * x for x in ordinary)
assert dot(recomputed, recomputed) == dot(n, n)
assert triple == det * dot(n, c)
print(name, det, recomputed, ordinary, triple)
assert cross(apply(reflection, b), apply(reflection, a)) == n
areas: 6.0 3.0
swap: (0, 0, -6) triple: 6
rotation 1 (0, -6, 0) (0, -6, 0) 6
reflection -1 (0, 0, -6) (0, 0, 6) -6
最后两行依次给出操作名、行列式、新叉积、直接变换旧叉积的结果以及新标量三重积。对这两种刚性变换,代码用整数逐项比较。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 机器学习与深度学习基础 · 12 CNN:处理图像 | 卷积在适当边界与步长条件下具有平移等变性;池化可降低位置敏感性,但不保证整网严格平移不变。该章可对照阅读 |
| 机器学习与深度学习基础 · 10 正则化全家桶 | 数据增强注入任务允许的变换;本章进一步比较有限增强与结构约束,不把两者当作互斥方案 |
| 数据这一关 · 14 数据泄漏的七种来源 | 增强出来的副本不是独立样本。那一章判泄漏的第三问「训练集和测试集之间有没有同一个东西跨过去」正好卡住它;实测「⑤ 重复样本跨集」AUC 0.745 掉到 0.605 |
| 机器学习的数学原理 · 05 维度灾难 | 高维覆盖的示意说明归纳偏置为何有用;不能据此推出本章旋转增强有固定的指数样本需求 |
✅ 检查点
- 「不变」和「等变」差在哪?各举一个分子上的量。
- 转 30 度之后,
raw coords和dist matrix的最大差分别是多少? - 为什么「每个原子受的力」不能做成旋转不变的?实验里哪一行证明它是等变的?
- 整组坐标平移之后,
raw coords/centered coords/dist matrix哪些变了? - 吃距离的那个模型,为什么加到 64 倍数据既没变好也没变坏?
- 「32 个朝向」那一行的两个数是多少?说明了什么?
- 只用距离矩阵会丢掉什么?怎么补?
- 用面积算例的两条边,先做关于
yz平面的反射,再交换新边的顺序,叉积方向和面积各是什么?
👀 答案
- 不变要求输出保持不变;等变要求输出遵守其类型的规则。力和速度在旋转下旋转、平移下不变;坐标点在平移下还要加位移。不变可视为输出变换为恒等的等变特例。
raw coords差 1.13(坐标本身 RMS 才 0.8786,同量级);dist matrix差 4.44e-16,在本例的浮点误差范围内。- 力是向量、有方向,分子转过去力也该转过去;做成不变等于要求它转了不动,那样连「往哪推」都表达不出来。证据是
force vs F(X) R^T: 1.7e-16。 - 只有
raw coords变了(差 1.00e+01,正好是平移量),另两个都是 1e-15。⚠️centroid也跟着挪了 10,它是等变量。 - 本例旋转副本的距离在数学上相同,浮点计算仍可有末位差异。损失和正则项都按样本数缩放,因此重复行不带来新的独立信息;显示精度下 RMSE 都为 0.1592。
- 坐标模型 0.1861,距离模型原稿 4.2e-16,本次 5.1e-16。说明这次距离表示对旋转的预测更稳定,不代表能算出朝向噪声占总信号的比例。
- 距离无法区分镜像。区分手性可用有固定原子次序的带符号二面角或标量三重积;叉积是按规则变化的方向量,不能当成反射下也不变的标量。
- 原叉积为
(0, 0, 6)。反射让第一条边的x变号,新叉积为(0, 0, −6)。交换再变一次号,回到(0, 0, 6),方向朝+z。长度一直是 6,平行四边形和三角形面积仍是 6 和 3。
本节回顾
选比较规则前,先问三件事
- 输出应保持原数值,还是要随输入按规则变?
- 特征是否保留了预测所需的信息?距离会把镜像混在一起。
- 模型只是见过有限增强样本,还是在结构上保证对称性?
下一节 👉 06-小数据这一关.md