跳到正文
🏠 总目录📚 本教程 02 · 序列不是文本 ← →

科学问题怎么变成模型 · 从问题进入正文

逐残基的标签,怎样对回输入序列?

子词可能缩短输入,却会改变边界;看清残基与token的对应,再检查数据里有多少近亲。

读完能检查位置对齐、词表和冗余条件,避免把文本处理习惯直接当成序列任务规则。

📑 本页目录(点开跳转)

02 · 序列不是文本

⏱ 26 分钟 | ⭐ 它长得像句子,NLP 的工具全都接得上 —— 但接得上不等于该照搬


🎯 一句话

蛋白序列可以用字符输入模型,但分词、位置和数据划分要按任务核对。 标准残基字母表很小,逐残基标签需要明确的位置对应,数据库又可能包含大量近亲;这些条件会改变常见的文本处理选择。


🧬 一、生物学部分,一段就讲完

蛋白质链上的单元叫残基(residue);常见的 20 种标准氨基酸用大写字母表示。本章合成实验只用这 20 个字母。真实数据还可能含非标准残基、未知字符或比对缺口,需按模型词表处理。序列、三维结构与所处环境共同影响功能;DNA 的 A/C/G/T 也是小字母表,但其生物含义和分词选择需另行判断。

⭐ 以上就是这一章需要的全部生物学,后面全是建模问题。


🔤 二、五条直觉,逐条要改

NLP 里的做法 在序列上变成什么 为什么
BPE 切子词 常见基线是一残基一 token 词表本来很小;子词会增加逐残基对齐的处理成本
词表几万到十几万 20 种标准残基,加模型所需的其他符号 核对未知残基、mask、padding、起止符和缺口
上下文几千到几十万 几百到几千个残基 但注意力仍是平方复杂度,要同时喂一批同源序列就不短
相邻的更相关 ⚠️ 隔一百多个位置的两个残基,三维里可能贴在一起 链会折叠
语料是自然文本 库里高度冗余 测序偏向被研究得多的家族

✂️ 三、为什么不切子词

站内主线 1 · 文字怎样进入模型把 BPE 的动机说得很清楚:一字一 token 永远不会遇到生词,但句子太长;一词一 token 够短,却要面对无限多的新词和拼写错误。子词是这两端之间的折中。

⭐ 对本章 20 字母的合成序列,字符词表已经能覆盖全部输入;子词仍可能缩短序列,但压缩收益要实测,不能把这一点扩展成“所有蛋白模型都禁止子词”。

很多任务逐残基输出标签,例如结合位点。一残基一 token 使位置对应更直接;用了子词则要记录每个 token 覆盖哪些残基,并把输出映射回去。即使用字符,也应核对编号从 0 还是 1 开始,以及是否加入了起止符。

字符级:一残基一格,编号钉死K47T48A49Y50I51A52K53逐残基示意:编号已对齐BPE:同一段 KTAYIAK,边界跟着上下文跑HHH…HKTAYIAK前面的 H 把 K 吃掉了QQQ…QKTAYIAK换成 Q,吃法也换了AAA…KTAYIAK这次 K 才自己独立成格本随机语料:200 残基平均切成 113.9 个 token
同一片段在此简化 BPE 中可从不同的子词边界开始。上排逐残基示意省略起止符与 padding,并统一编号;真实提取仍须按 tokenizer 的 offset 对齐残基。113.9 仅属本随机语料,不代表所有子词方案。

自己写一个几十行的 BPE 就看得到:

运行方式:第一段 BPE 和第二段家族示例均只需 Python 标准库,可分别运行。 将完整代码保存为 experiment.py,在已安装依赖的环境执行 python experiment.py。本轮 CPU 复跑环境为 Python 3.12.14、NumPy 2.3.5;末位浮点数不要求跨环境逐位一致。

import collections, random, re
random.seed(0); AA = "ACDEFGHIKLMNPQRSTVWY"      # 20 种氨基酸 = 全部词表

def cut(w, p):                                   # 合并 w 里所有的 p 这一对
    pat = r"(?<!\S)" + re.escape(" ".join(p)) + r"(?!\S)"
    return re.sub(pat, "".join(p), " ".join(w)).split(" ")

corpus = [[random.choice(AA) for _ in range(200)] for _ in range(300)]   # 合成序列
ms = []
for _ in range(400):                             # 每轮合并一次最高频的相邻对
    c = collections.Counter()
    for w in corpus: c.update(zip(w, w[1:]))
    ms.append(c.most_common(1)[0][0])
    corpus = [cut(w, ms[-1]) for w in corpus]

def enc(s):
    w = list(s)
    for p in ms: w = cut(w, p)
    return w

for L, R in [("MGSSHHHH", "DEFGHIKL"), ("QQQ", "WWWWWWWW"), ("AAAAAAAAAAAA", "MM")]:
    print(L[-3:] + "[KTAYIAK]" + R[:3], "->", "|".join(enc(L + "KTAYIAK" + R)))
print("200 残基切成", round(sum(len(w) for w in corpus) / 300, 1), "个 token")
HHH[KTAYIAK]DEF -> M|GS|SH|HH|HK|TA|YI|AK|DE|F|GH|IK|L
QQQ[KTAYIAK]WWW -> QQ|QK|TA|YI|AK|WW|WW|WW|WW
AAA[KTAYIAK]MM -> AA|AA|AA|AA|AA|AA|K|TA|YI|AK|MM
200 残基切成 113.9 个 token

⭐ 同一段 KTAYIAK,三次切出来的第一个 token 分别是 HK、QK、K —— 开头那个残基被前面的邻居吃掉了,吃法取决于上下文。 "这个片段从第几个 token 开始",没有稳定答案。

⚠️ 本例 200 个残基平均压到 113.9 token,压缩约 1.76 倍。这只描述随机合成语料和这 400 轮合并,不代表其他语料的压缩率或下游性能;这些合并规则也不能解释为生物学单元。


👯 四、库里躺着的全是近亲

序列数据库不是独立同分布采样出来的:研究得多的物种和家族会留下大量彼此高度相似的条目。这不是"清洗没做干净",是数据来源本身的形状。造一批看看 —— 10 个家族,大小从 80 到 2 极不均匀,每条从祖先点突变 20%。

import random, statistics
rng = random.Random(7); AA = "ACDEFGHIKLMNPQRSTVWY"
seqs = []
for n in [80, 40, 25, 15, 10, 10, 8, 6, 4, 2]:                 # 家族大小极不均匀
    anc = "".join(rng.choice(AA) for _ in range(150))          # 这个家族的祖先
    seqs += ["".join(rng.choice(AA) if rng.random() < .2 else c for c in anc)
             for _ in range(n)]                                # 点突变 20% 得到亲戚

def idt(a, b):          # 长度一样就按位比;真实序列要先做比对
    return sum(x == y for x, y in zip(a, b)) / len(a)

N = len(seqs)
allp = [idt(seqs[i], seqs[j]) for i in range(N) for j in range(i + 1, N)]
best = [max(idt(seqs[i], seqs[j]) for j in range(N) if j != i) for i in range(N)]
print("随机抽一对   相同率中位数 %.2f" % statistics.median(allp))
print("每条的最近邻 相同率中位数 %.2f" % statistics.median(best))
print("有 >=50%% 近亲的序列占 %.0f%%" % (100 * sum(b >= .5 for b in best) / N))
随机抽一对   相同率中位数 0.05
每条的最近邻 相同率中位数 0.71
有 >=50% 近亲的序列占 100%

⭐ 把这三行一起读。 随机两条相同率的中位数是 0.05,与本例均匀 20 字母表的背景期望接近;最近邻中位数却是 0.71,每条都有相同率至少 50% 的近邻。随机一对的中位数低,不能排除簇内冗余。真实序列的背景还取决于组成和比对方式。

⭐⭐ 检查冗余时,除了随机成对统计,还要看最近邻和组间重叠。 若目标是预测未见家族,同族跨集会使该外推目标的评估偏乐观;同一家族中的新序列则是另一个预测目标,见 07 章。

10 个家族,大小极不均匀8040251510108642共 200 条,每条从本家族祖先点突变 20%两种问法,同一批数据0.000.250.500.751.00序列相同率随机抽一对:中位数 0.05≈ 1/20,本例均匀字母表每条的最近邻:中位数 0.71100% 的序列都有 ≥50% 的近亲50%⚠️ 按条抽样可能让近亲跨集是否造成偏差,要看未来预测对象
随机成对相同率的中位数为 0.05,而每条序列最近邻的中位数为 0.71。前者较低仍不能排除簇内冗余;这两个数均为中位数,不是平均值。是否需要隔离家族,取决于未来预测对象。

这条线接到本板块第 7 章(随机划分会虚高多少、按什么划分才诚实)。⚠️ 上面能直接按位比是因为合成序列等长;真实序列要先做序列比对,那是后面几章的事。


🧲 五、剩下两条:远距离,和位置

远距离。 序列上相隔很远的残基,折叠后可能在三维中靠近;局部序列模式也仍然有用。卷积的局部先验并非因此错误,但感受野需要覆盖任务所需信息。注意力能直接连接可见的远位置,是一种合适的选择;它是否学到结构关联,还要用数据验证。

位置。 残基的顺序会影响序列与功能;纯自注意力若没有位置或其他顺序信号,不能区分所有排列。可以加入绝对位置、相对位置或 RoPE 等方案,具体选择要验证;不能由“是蛋白序列”就推出某种编码必然更好。参见专题 C · RoPE:位置感。


🔗 这一章连到哪里

去哪 为什么
大模型全景导论 · 主线 1 · 文字怎样进入模型 ⭐ 它把 BPE 的动机写成"词表不能无限大 vs 句子不能太长"的折中 —— 看清那个动机,才看得懂它在 20 个字母上为什么失效
大模型全景导论 · 主线 2 · 模型怎样看懂一句话 "对所有可见位置打分"正是"远距离也可能相关"需要的机制,那一章讲了它怎么算
大模型全景导论 · 专题 C · RoPE:位置感 逐残基任务对位置格外敏感,位置怎么编码在这里不是可选专题
数据这一关 · 06 · 重复与实体解析 同一条数据的两个副本分别落进训练集和验证集 —— 序列库的冗余就是这个事故,只是这里是常态

✅ 检查点

  1. 为什么残基序列上一般不做子词切分?给出两条独立的理由。
  2. 上面那段输出里,同一个 KTAYIAK 的第一个 token 为什么会变?说明了什么问题?
  3. 200 个残基被切成多少个 token?这个数字为什么值得留意?
  4. "随机抽一对中位数 0.05"和"100% 的序列都有 50% 以上的近亲"为什么不矛盾?哪一个和数据划分有关?
  5. 为什么局部序列模式有用,却仍要考虑远距离依赖?注意力能提供什么?
👀 答案
  1. ① 本章标准残基字母表很小,字符级已能覆盖;② 逐残基标签需要明确的位置对应。子词可以使用,但要量压缩收益并保留残基映射;起止符和 padding 也要排除。
  2. 三次分别是 HK、QK、K —— 开头那个残基被前面的邻居吃掉了,所以"从第几个 token 开始"没有稳定答案。
  3. 113.9 个,约压缩 1.76 倍;它只属于本例随机语料与合并规则,不是所有蛋白语料的压缩率。
  4. 一个是随机成对相同率的中位数,一个是每条序列的最近邻统计。本例均匀字母表的背景期望为 1/20;低成对中位数不能排除近亲跨集。划分应匹配预测目标。
  5. 局部模式和远距离依赖都可能重要。注意力能直接连接远位置,卷积也可通过扩展感受野建模;机制是否有效需要比较,不能把局部先验一概判错。

本节回顾

先带走三件事:字符级方便逐残基对应,近亲关系影响划分,模型需要兼顾局部与远距离信息。接真实模型前再查特殊 token;例如 ESM 的 BatchConverter 会插入起止符,提取残基表示时不能直接把 token 下标当残基编号。

⚡ 走神救援

先记住这几件事

下一节 👉 03-蛋白质语言模型.md

打卡记录保存在你的浏览器里,首页能看到总进度