03 · 文字怎样进入模型
这一页可以独立查阅,也可以接在 02 原理之后。先看文字、token、编号和向量之间怎样对应。
🎯 一句话
模型处理的是文字的数值表示。它先把文字切成一小块一小块的 token,换成编号,再把编号换成向量;后面所有“理解”和“生成”都发生在这些向量上。
先只记三件事
- token 不是字,也不一定是词。 “机器学习”可能是一个 token,也可能被切成多个;取决于模型的词表。
- token 是模型的计费和容量单位。 同样一段内容,切得更碎,就更贵、占的上下文也更多。
- 模型不擅长逐字符操作。 数字、拼写、倒序、精确计数交给程序,比让模型硬猜可靠得多。
跟着一个例子走
假设你输入:“猫追老鼠”。Tokenizer 可能切成 [猫] [追] [老鼠],再把它们变为三个编号。编号本身没有意义;模型查一张很大的嵌入表,把每个编号换成一串几千维的数字。
这些数字不是人能直接读懂的中文释义。把它当成每个 token 的“可计算名片”:后面的 Transformer 会不断修改名片,让“猫”不只是猫,而是“正在追老鼠的那只猫”。
词表不是人工逐条写出来的
最常见的造词表思路叫 BPE。开始时把文本切得很细,然后反复统计“哪两个相邻小块最常一起出现”,把高频组合合并成一个新 token。于是常见词、常见词根、常见代码片段会变短;罕见名字、拼写错误和生僻词会被拆得更细。
这就是为什么模型可能把英文 unbelievable 切成 un + believ + able,也解释了为什么不同模型的 token 数不能直接互相套用:词表不同,切法就不同。
为什么不干脆“一字一 token”或“一词一 token”?
一字一 token 减少词级未登录问题,但有限字符表仍可能遇到未收录字符;字节级表示可以覆盖任意字节序列,但句子会很长,注意力计算和费用都会变高;一词一 token 虽然短,却会碰到无限多的新词、名字和拼写。子词切分是在“词表不能无限大”和“句子不能太长”之间找折中。
实用提醒:问模型接口价格、上下文长度、输出上限时,都看 token,不看汉字数。中文、代码、JSON 的 token 密度通常不同;不能只拿字符数去猜。
BPE 说明怎样构造子词;实际使用还要认准实现工具、词表和模型版本。只想理解文字进模型的主线,可以跳过这段落地核对。
选读:BPE 与 SentencePiece 为什么不是同一层的名字?
BPE 是子词算法;SentencePiece 是训练和使用分词模型的工具框架。以 SentencePiece v0.2.1 为例,它支持 BPE、Unigram 等模型类型,并把词片、编号映射和归一化配置保存进模型文件。因此“用了 SentencePiece”还不能推出“用了哪种子词算法”。它也不等于每个 LLM 的实际分词器。
- 先配对:使用模型发布的 tokenizer 文件与精确版本,核对词表大小、特殊 token ID、归一化及聊天模板;不能给现成模型随意换一套相同大小的词表,编号对应的嵌入会变。
- 再测 OOV:OOV 是词表外输入问题。子词能把罕见词拆开,但仍须检查字符覆盖和 unknown 处理。SentencePiece 的
character_coverage、unk_id与byte_fallback是具体配置;v0.2.1 中 byte fallback 默认关闭,启用时把未知片段拆成 UTF-8 字节,不能仅凭“子词”二字保证没有未知字符。 - 看真实编码:用中文、代码、罕见字、emoji、空白和全角字符分别检查 pieces、IDs、数量与解码结果。归一化可能改变原字符串,应按预期归一化文本核对,不把任意原字节往返相等当通用保证。这里不预报某个模型的真实切法或 token 数。
- 最后算完整请求:按实际 tokenizer 和服务端口径计入指令、历史、示例、检索资料、模板与特殊 token,另留输出额度;本地字符数不等于供应方最终计费量。更换 tokenizer、模板或服务版本后重新核对。
依据:SentencePiece v0.2.1 README及同版模型配置定义。这里只给核对流程,未运行真实分词模型。
上下文窗口:它能带多少张名片进来?
上下文窗口就是一次能放进模型的 token 总数,包含:你的指令、历史聊天、检索到的资料,以及模型刚刚生成的内容。窗口大不等于每一段都能被同样好地利用;重要信息仍要放得清楚、取得精准。
容量和效果是两件事
“支持 128K 上下文”只说明这 128K token 能塞进模型;它不保证模型能把每一段都用好。真实长文任务还要处理干扰、相似段落、跨段关联和“中间信息容易被忽略”等问题。
实际写提示词时,可以把内容按作用放:稳定规则放开头,当前任务与最关键的材料放靠近结尾的位置;长资料不要无差别整本塞入,而是先检索、压缩,再把少量真正相关的片段给模型。
上下文里还可能放任务示范。示范数量改变输入条件;把示范用于参数训练是另一件事。需要分清 zero/one/few-shot 时再展开。
选读:同一道分类题,0、1、多个示例有什么区别?
这里按 LLM 推理时上下文中的完整示范数量计数:zero-shot 没有示范,仍可有任务指令;one-shot 有一个;few-shot 有若干个。不要把别处“少样本训练”的术语直接套到这里。
教学自造任务:把用户消息分为“退款 / 物流”,只输出类别;待判消息始终是“包裹还没到”。下面只展示输入组织,没有展示模型实跑输出:
- Zero-shot:只给任务指令和待判消息,不放已标好答案的示范。
- One-shot:先加一个示范“我想退钱 → 退款”,再给同一条待判消息。
- Few-shot(本例两个):给上述示范,再加“帮我查快递 → 物流”,然后给同一条待判消息。两个只是示意,不是 few-shot 的固定上限。
三种设置在这一次推理中都不做梯度更新;若用样本、损失和优化器改变参数,就进入监督微调等训练流程。示范会占 token 预算,也可能带入错误或偏置,不保证越多越好。假设已经按实际 tokenizer 数过:指令/模板 200、两例 80、资料 600、预留输出 200,总计 1,080;若可用窗口仅 1,000,就需要减少内容或调整输出预算,且不能把关键适用条件裁掉。这是预算算例,不是某个接口的实测计费。
任务目标、规则和输出合同的写法已有智能体03;这里补的是示范数量、参数更新和容量之间的区别。定义依据:Language Models are Few-Shot Learners §2。
✅ 检查点
- 为什么“模型看到的不是汉字”?
- 为什么很长的聊天记录会挤掉可用空间?
- 为什么精确数数、反转字符串更适合交给工具?
点开核对
模型先把文字换成 token 编号和向量;窗口装的是所有输入与输出 token;逐字符题目会被切分方式干扰,程序更可靠。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| 智能体工程教程 04 · 上下文工程 | ⭐ 窗口就这么大,于是得管:放什么、什么时候压缩、什么时候丢 |
| AI 基础设施 16 · KV Cache | 「能带多少张名片」的成本那一面:上下文里每个 token 都要占一份缓存 |
本节回顾
到这里已经够进入下一章。BPE、词表训练、多语言切分差异,只有你要做分词器或批量省 token 时才需要深挖。
⚡ 走神救援
文字会先被切成 token,再变成向量。模型随后处理这些向量;下一站看训练怎样改变模型的行为。
👉 04-训练三阶段.md | 回看结构:02-Transformer原理.md