跳到正文
🏠 总目录📚 本教程 03 · 蛋白质语言模型 ← →

科学问题怎么变成模型 · 从问题进入正文

两个位置一起变化,能说明它们直接接触吗?

先用人工耦合的序列看相关怎样出现,再看没有直接耦合也会有高互信息的反例。

读完能区分统计依赖、直接耦合与三维接触,并说明真实结构线索还需要什么验证。

📑 本页目录(点开跳转)

03 · 蛋白质语言模型:它到底学到了什么

⏱ 24 分钟 | ⭐ 序列统计可能携带结构线索,但相关不等于接触


🎯 一句话

本章以掩码型蛋白语言模型为例:通过猜被遮住的残基学习统计依赖。 这些依赖可能含结构、功能和演化线索,也可能含家族与数据库偏差;另有自回归等训练目标,不能把所有蛋白语言模型都称为掩码模型。

这一章先用合成序列看懂“相关怎样出现”,再区分它与真实三维接触的距离。


🔁 一、目标可以照搬,别的都变了

掩码语言建模的目标函数原样搬过来就能用:遮住一部分,让模型猜。 但 02 章已经说清楚,输入这一侧和自然语言完全不同:

自然语言 蛋白序列
词表 几万到几十万 20 种标准残基,加特殊或非标准符号
词边界 有(空格、BPE) ⚠️ 没有,切在哪都是人为的
长度 几百 token 几百到几千个残基
「语法」从哪来 人类用法 ⭐ 物理和演化的约束

⭐ 序列统计会受到物理、功能、演化和采样过程的共同影响。例如两个位置若需配合才能维持某种功能,就可能出现相关变化;但不是每种不匹配都使个体无法存活,也不是所有数据库记录都经实验确认有功能。


🧬 二、共进化:这一章的题眼

同一个蛋白在几千个物种里都有自己的版本。把它们对齐摞成一张表(这叫 MSA,多序列比对), 列与列之间的相关性可能包含结构线索,也可能来自共同祖先、功能约束或间接关联:

如果位置 i 的残基变大了一号,而位置 j 必须跟着变小一号才不至于把结构撑坏, 那么在这几千条序列里,i 和 j 这两列就会呈现出很强的统计相关。

掩码预测会鼓励模型利用有助于预测的依赖,但它也能利用位置偏好、局部模式等信息。不能说它只有学会成对结构约束这一条路。 真实蛋白上的结构信息需要用接触或结构基准另行验证。

下面这段把它跑出来:造 4000 条序列,只让三对位置真正耦合, 然后用互信息把它们找出来。

运行方式:两段程序均需 Python 与 NumPy,可分别运行。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。

import numpy as np

L, Q, N = 40, 20, 4000        # 40 个位置,20 种氨基酸,4000 条序列
TRUE_PAIRS = [(3, 27), (11, 34), (18, 22)]   # 人为设定的直接耦合对;这个实验没有三维坐标

rng = np.random.default_rng(0)
msa = rng.integers(0, Q, size=(N, L))         # 先随机

# 构造相关性:让 j 的取值跟随 i;这是合成规则,不是物理模拟
for i, j in TRUE_PAIRS:
    keep = rng.random(N) < 0.9                # 90% 的序列遵守约束
    msa[keep, j] = (Q - 1 - msa[keep, i])     # 一个简单的"互补"规则


def mutual_info(a, b):
    """两列之间的互信息,单位 bit。"""
    joint = np.zeros((Q, Q))
    np.add.at(joint, (a, b), 1.0)
    joint /= joint.sum()
    pa, pb = joint.sum(1, keepdims=True), joint.sum(0, keepdims=True)
    nz = joint > 0
    return float((joint[nz] * np.log2(joint[nz] / (pa @ pb)[nz])).sum())


scores = []
for i in range(L):
    for j in range(i + 1, L):
        scores.append((mutual_info(msa[:, i], msa[:, j]), i, j))
scores.sort(reverse=True)

print("互信息最高的 6 对位置:")
for mi, i, j in scores[:6]:
    tag = "  <== 人为直接耦合" if (i, j) in TRUE_PAIRS else ""
    print("  (%2d,%2d)  MI = %.3f bit%s" % (i, j, mi, tag))

bg = np.mean([s[0] for s in scores[len(TRUE_PAIRS):]])
print("\n背景(其余 %d 对)平均 MI = %.3f bit" % (len(scores) - len(TRUE_PAIRS), bg))

真实输出:

互信息找到了人为设置的耦合

这是合成序列,不含真实三维结构;“直接耦合”指生成数据时设置的规则。位置编号从 0 开始。

排名 位置对 MI(bit) 生成规则中的关系
1 (11, 34) 3.566 人为设置的直接耦合
2 (3, 27) 3.531 人为设置的直接耦合
3 (18, 22) 3.494 人为设置的直接耦合
4 (4, 18) 0.085 未设置直接耦合
5 (22, 28) 0.081 未设置直接耦合
6 (13, 15) 0.080 未设置直接耦合

其余 777 对的平均 MI:0.066 bit。

三对人为设置的耦合排在前 3 位,MI 约 3.5 bit,其余 777 对平均为 0.066 bit。这证明统计量找到了本例中的生成规则,不是证明从这些随机序列恢复了真实蛋白结构。


⚠️ 三、但互信息会撒谎:间接相关

接下来只设置两条规则:5→15、15→25,不直接设置 5→25。 互信息仍可能给 (5,25) 很高的分;这是间接相关,而不是互信息算错。

下面的完整代码可单独运行,不依赖上一段变量:

import numpy as np

L, Q, N = 40, 20, 4000        # 40 个位置,20 种氨基酸,4000 条序列
TRUE_PAIRS = [(5, 15), (15, 25)]   # 人为设定的直接耦合对;这个实验没有三维坐标

rng = np.random.default_rng(0)
msa = rng.integers(0, Q, size=(N, L))         # 先随机

# 构造相关性:让 j 的取值跟随 i;这是合成规则,不是物理模拟
for i, j in TRUE_PAIRS:
    keep = rng.random(N) < 0.9                # 90% 的序列遵守约束
    msa[keep, j] = (Q - 1 - msa[keep, i])     # 一个简单的"互补"规则


def mutual_info(a, b):
    """两列之间的互信息,单位 bit。"""
    joint = np.zeros((Q, Q))
    np.add.at(joint, (a, b), 1.0)
    joint /= joint.sum()
    pa, pb = joint.sum(1, keepdims=True), joint.sum(0, keepdims=True)
    nz = joint > 0
    return float((joint[nz] * np.log2(joint[nz] / (pa @ pb)[nz])).sum())


scores = []
for i in range(L):
    for j in range(i + 1, L):
        scores.append((mutual_info(msa[:, i], msa[:, j]), i, j))
scores.sort(reverse=True)

print("互信息最高的 5 对位置:")
for mi, i, j in scores[:5]:
    tag = "  <== 人为直接耦合" if (i, j) in TRUE_PAIRS else ""
    print("  (%2d,%2d)  MI = %.3f bit%s" % (i, j, mi, tag))

没有直接耦合,也会出现高互信息

只设置 5→15 和 15→25 两条规则;5 与 25 的高分来自间接关联。高 MI 本身不能证明空间接触。

排名 位置对 MI(bit) 生成规则中的关系
1 (15, 25) 3.579 直接耦合
2 (5, 15) 3.528 直接耦合
3 (5, 25) 2.973 间接相关,未设置直接耦合
4 (4, 18) 0.085 背景位置对
5 (5, 7) 0.080 背景位置对

(5,25) 的 MI 为 2.973 bit,排名第三。 它没有直接生成规则,相关性沿 5→15→25 传递。相对一个背景位置对的 0.085 bit,约为 35 倍;0.085 不是全部背景的平均值。

合成数据:直接耦合 5→15、15→25,没有直接的 5→25(15,25)3.579耦合(5,15)3.528耦合(5,25)2.973间接关联(4,18)0.085背景(5,7)0.080背景间接关联约为该背景对的 35 倍相关性顺着 5 → 15 → 25 传过去了
只比第三根和上面两根的长度:红色那对没有直接耦合规则,却也有很高的互信息,而背景只有 0.08。⭐ 这就是「直接耦合分析」被发明的原因 ——要问的不是「相关吗」,是「扣掉其他位置的中介之后还直接相关吗」。

⭐ 直接耦合分析(DCA)用联合模型区分直接与间接统计依赖。它仍是基于序列统计的推断,不把“直接耦合”自动等同于物理接触。

深度模型能联合利用多个位置,具有表达复杂依赖的能力,但注意力机制不保证自动消除间接相关,也不直接等于接触图。

有研究在蛋白语言模型的表示和注意力中发现了结构信息;是否有效仍要用真实结构验证。依据:蛋白语言模型原始研究。


🧊 四、拿它当特征用

对绝大多数人来说,蛋白语言模型的用法不是自己训一个,而是:

拿一个训好的主干 → 冻结 → 取出 embedding → 上面接一个小模型。

⭐ 这是小数据场景的默认做法,理由和实测在 06 章: 第 06 章用合成序列上的 PCA 表示演示这一思路:20 条标签时 R² 从 0.374 到 0.696。这不是对某个蛋白语言模型的实测成绩。

🗓️ 模型选型会过期,这里不给推荐。 ESM 系列、ProtTrans 系列是常见的起点, 但具体哪一代、哪个尺寸最合适,请去查最新的。⭐ 不变的是用法: 先冻结、先量一下它比 one-hot 好多少,再决定要不要投入微调。


🚧 五、它不能做什么

⚠️ 这一节比上面几节更重要,因为高估它的代价很大。

① 语言模型分数不直接等于能量。 预训练通常拟合序列统计,而非直接监督某个自由能变化;可能学到相关线索,但若任务是预测 ΔΔG,仍需对应标签、单位和独立评测。

② 新设计序列需要单独验证。 设计序列可能超出训练覆盖,也可能仍在熟悉家族附近,不能一律判为分布外。已有功能蛋白生成的原始研究,但不保证任意生成序列的高分都已校准或具备实验功能。

③ embedding 可能带着数据库的采样偏差。 不同家族的样本数量与覆盖情况不同,表示质量也可能不同;“样本多”不自动保证每个任务都更好。

总体平均分可能掩盖小家族的退化。除了平均指标,还要按家族查看样本数、误差与波动,确认模型是否服务到了你真正关心的对象。见 07 章。


🔗 这一章连到哪里

去哪 为什么
02 · 序列不是文本 第一节那张对照表的完整版:词表、词边界、长度各自带来什么后果
04 · 从序列到结构 共进化统计可能提供接触线索;下一章区分接触、距离和三维坐标
06 · 小数据这一关 「冻结 + 小头」的实测账:20 条标签时 0.374 → 0.696
07 · 评测的坑 ⚠️ 第五节第三条的展开:平均指标看不见冷门家族的表现
机器学习的数学原理 01b · KL 散度 第二节用的互信息就是一个 KL 散度 —— 联合分布和「假装两列独立」之间的距离
大模型全景导论 主线 2 · 模型怎样看懂一句话 注意力为什么天然在做联合建模(第三节最后那个论点的机制)

✅ 检查点

  1. 掩码语言建模搬到蛋白序列上,什么没变、什么变了?
  2. 什么是共进化?它为什么可能帮助掩码预测,又为什么不等于空间接触?
  3. 实验里三对人为耦合与其余位置对的 MI 各是多少?它们验证的是什么?
  4. 间接相关为什么也能得到高 MI?没有直接生成规则的 (5,25) 拿了多少分、排第几?
  5. 这个问题催生了哪一类方法?深度模型为什么在这件事上有优势?
  6. 使用蛋白语言模型时,需要核对哪三类限制?为什么还要按家族看表现?
👀 答案
  1. 本章用的是掩码预测思路;词表、残基映射、序列长度和采样关系需要重查。序列统计受物理、演化和数据库采样共同影响,不等于所有失配序列都会被完全淘汰。
  2. 共进化指演化中的相关变化,可在同源序列的统计依赖中体现。结构接触可能带来这种约束,但共同祖先、功能约束和间接关联也会造成相关。掩码预测可利用这些线索,不保证必然学到真实接触。
  3. 三对人为耦合的 MI 为 3.566 / 3.531 / 3.494 bit,排名前 3;其余 777 对平均为 0.066 bit。这验证合成规则,不是测定真实接触。
  4. 只设置 5→15 和 15→25,(5,25) 仍有 2.973 bit,排名第三;约为背景位置对 0.085 的 35 倍。高互信息不能单独证明直接耦合或空间接触。
  5. DCA 试图区分直接与间接统计耦合;深度模型可以联合建模多个位置,但不会因用了注意力就自动解决此问题。真实接触预测仍需实证验证。
  6. ① 语言模型分数不直接等于自由能变化;② 新设计序列的适用范围和功能要单独验证;③ 表示可能带有采样偏差。总体平均指标可能掩盖特定家族的误差,但不能预先断言所有热门家族都好、冷门家族都差。

本节回顾

到这里你已经知道这类模型可能学到什么(包括结构、功能和演化相关线索)、怎么用(冻结取特征)、 以及不能指望它什么。⭐ 光是「互信息会因为间接相关而撒谎」这一条, 就够你在读任何一篇讲接触预测的东西时不被绕进去。

⚠️ 什么时候看下一页:你想知道从「哪些残基挨着」到「三维坐标」中间还差什么。

⚡ 走神救援

先记住这几件事

下一节 👉 04-从序列到结构.md

打卡记录保存在你的浏览器里,首页能看到总进度