🏠 总目录📚 本教程 03 · 文字怎样进入模型 ← →

大模型全景导论 / 03

一段文字变成多少token,又占掉多少上下文?

沿切块→编号→向量追踪输入,把few-shot示例与输出预算放回窗口账。

📑 本页目录(点开跳转)

03 · 文字怎样进入模型

这一页可以独立查阅,也可以接在 02 原理之后。先看文字、token、编号和向量之间怎样对应。


🎯 一句话

模型处理的是文字的数值表示。它先把文字切成一小块一小块的 token,换成编号,再把编号换成向量;后面所有“理解”和“生成”都发生在这些向量上。

你写的文字“猫追老鼠”Tokenizer按词表切块编号[812, 91]向量数字阵列
先切块,再编号,再变成向量。模型从第三步开始工作。

先只记三件事

  1. token 不是字,也不一定是词。 “机器学习”可能是一个 token,也可能被切成多个;取决于模型的词表。
  2. token 是模型的计费和容量单位。 同样一段内容,切得更碎,就更贵、占的上下文也更多。
  3. 模型不擅长逐字符操作。 数字、拼写、倒序、精确计数交给程序,比让模型硬猜可靠得多。

跟着一个例子走

国王王后男人女人巴黎法国东京日本同一个方向同一个方向「首都」词向量里,「关系」变成了空间中的【方向】经典词向量类比示意:国王 − 男人 + 女人 ≈ 王后⭐ 没人教它「性别」这个概念 —— 它是从「谁和谁常一起出现」里自己长出来的
「关系」在向量空间里变成了方向:国王→王后 和 男人→女人 在某些词向量中可能呈近似方向关系;不是所有上下文表示都成立。⭐ 没人教它「性别」这个概念 —— 它是从「谁和谁常一起出现」里自己长出来的。

假设你输入:“猫追老鼠”。Tokenizer 可能切成 [猫] [追] [老鼠],再把它们变为三个编号。编号本身没有意义;模型查一张很大的嵌入表,把每个编号换成一串几千维的数字。

这些数字不是人能直接读懂的中文释义。把它当成每个 token 的“可计算名片”:后面的 Transformer 会不断修改名片,让“猫”不只是猫,而是“正在追老鼠的那只猫”。

词表不是人工逐条写出来的

hellohello常见词 → 1 个 tokenunhappinessunhappiness少见词 → 拆成词根词缀Antidisestab...Antidisestab生僻词 → 碎成很多片苹果好吃苹果好吃中文切分依具体词表;token 数需实际编码Token 不是「字」也不是「词」,可以是 BPE 等算法学习出的片段,也可能是字节或特殊标记⭐ 越常见的东西占的 token 越少 —— 字典是「按出现频率合并」造出来的⚠️ 这解释了两个经典现象:模型数不清单词里的字母(子词不等于单个字母),以及不同语言与代码的 token 密度需用同一分词器比较
越常见的东西占的 token 越少 —— 字典是按出现频率合并造出来的。⚠️ 这解释了两个经典现象:模型数不清单词里的字母(子词切分不直接提供逐字符计数),以及中文、代码和英文的 token 密度依文本与分词器而变。

最常见的造词表思路叫 BPE。开始时把文本切得很细,然后反复统计“哪两个相邻小块最常一起出现”,把高频组合合并成一个新 token。于是常见词、常见词根、常见代码片段会变短;罕见名字、拼写错误和生僻词会被拆得更细。

这就是为什么模型可能把英文 unbelievable 切成 un + believ + able,也解释了为什么不同模型的 token 数不能直接互相套用:词表不同,切法就不同。

为什么不干脆“一字一 token”或“一词一 token”?

一字一 token 减少词级未登录问题,但有限字符表仍可能遇到未收录字符;字节级表示可以覆盖任意字节序列,但句子会很长,注意力计算和费用都会变高;一词一 token 虽然短,却会碰到无限多的新词、名字和拼写。子词切分是在“词表不能无限大”和“句子不能太长”之间找折中。

实用提醒:问模型接口价格、上下文长度、输出上限时,都看 token,不看汉字数。中文、代码、JSON 的 token 密度通常不同;不能只拿字符数去猜。

BPE 说明怎样构造子词;实际使用还要认准实现工具、词表和模型版本。只想理解文字进模型的主线,可以跳过这段落地核对。

选读:BPE 与 SentencePiece 为什么不是同一层的名字?

BPE 是子词算法;SentencePiece 是训练和使用分词模型的工具框架。以 SentencePiece v0.2.1 为例,它支持 BPE、Unigram 等模型类型,并把词片、编号映射和归一化配置保存进模型文件。因此“用了 SentencePiece”还不能推出“用了哪种子词算法”。它也不等于每个 LLM 的实际分词器。

  1. 先配对:使用模型发布的 tokenizer 文件与精确版本,核对词表大小、特殊 token ID、归一化及聊天模板;不能给现成模型随意换一套相同大小的词表,编号对应的嵌入会变。
  2. 再测 OOV:OOV 是词表外输入问题。子词能把罕见词拆开,但仍须检查字符覆盖和 unknown 处理。SentencePiece 的 character_coverage、unk_id 与 byte_fallback 是具体配置;v0.2.1 中 byte fallback 默认关闭,启用时把未知片段拆成 UTF-8 字节,不能仅凭“子词”二字保证没有未知字符。
  3. 看真实编码:用中文、代码、罕见字、emoji、空白和全角字符分别检查 pieces、IDs、数量与解码结果。归一化可能改变原字符串,应按预期归一化文本核对,不把任意原字节往返相等当通用保证。这里不预报某个模型的真实切法或 token 数。
  4. 最后算完整请求:按实际 tokenizer 和服务端口径计入指令、历史、示例、检索资料、模板与特殊 token,另留输出额度;本地字符数不等于供应方最终计费量。更换 tokenizer、模板或服务版本后重新核对。

依据:SentencePiece v0.2.1 README及同版模型配置定义。这里只给核对流程,未运行真实分词模型。

上下文窗口:它能带多少张名片进来?

上下文窗口就是一次能放进模型的 token 总数,包含:你的指令、历史聊天、检索到的资料,以及模型刚刚生成的内容。窗口大不等于每一段都能被同样好地利用;重要信息仍要放得清楚、取得精准。

容量和效果是两件事

“支持 128K 上下文”只说明这 128K token 能塞进模型;它不保证模型能把每一段都用好。真实长文任务还要处理干扰、相似段落、跨段关联和“中间信息容易被忽略”等问题。

实际写提示词时,可以把内容按作用放:稳定规则放开头,当前任务与最关键的材料放靠近结尾的位置;长资料不要无差别整本塞入,而是先检索、压缩,再把少量真正相关的片段给模型。

上下文里还可能放任务示范。示范数量改变输入条件;把示范用于参数训练是另一件事。需要分清 zero/one/few-shot 时再展开。

选读:同一道分类题,0、1、多个示例有什么区别?

这里按 LLM 推理时上下文中的完整示范数量计数:zero-shot 没有示范,仍可有任务指令;one-shot 有一个;few-shot 有若干个。不要把别处“少样本训练”的术语直接套到这里。

教学自造任务:把用户消息分为“退款 / 物流”,只输出类别;待判消息始终是“包裹还没到”。下面只展示输入组织,没有展示模型实跑输出:

  1. Zero-shot:只给任务指令和待判消息,不放已标好答案的示范。
  2. One-shot:先加一个示范“我想退钱 → 退款”,再给同一条待判消息。
  3. Few-shot(本例两个):给上述示范,再加“帮我查快递 → 物流”,然后给同一条待判消息。两个只是示意,不是 few-shot 的固定上限。

三种设置在这一次推理中都不做梯度更新;若用样本、损失和优化器改变参数,就进入监督微调等训练流程。示范会占 token 预算,也可能带入错误或偏置,不保证越多越好。假设已经按实际 tokenizer 数过:指令/模板 200、两例 80、资料 600、预留输出 200,总计 1,080;若可用窗口仅 1,000,就需要减少内容或调整输出预算,且不能把关键适用条件裁掉。这是预算算例,不是某个接口的实测计费。

任务目标、规则和输出合同的写法已有智能体03;这里补的是示范数量、参数更新和容量之间的区别。定义依据:Language Models are Few-Shot Learners §2。

✅ 检查点

  • 为什么“模型看到的不是汉字”?
  • 为什么很长的聊天记录会挤掉可用空间?
  • 为什么精确数数、反转字符串更适合交给工具?
点开核对

模型先把文字换成 token 编号和向量;窗口装的是所有输入与输出 token;逐字符题目会被切分方式干扰,程序更可靠。

🔗 想再深一层,去哪一套

去哪 为什么
智能体工程教程 04 · 上下文工程 ⭐ 窗口就这么大,于是得管:放什么、什么时候压缩、什么时候丢
AI 基础设施 16 · KV Cache 「能带多少张名片」的成本那一面:上下文里每个 token 都要占一份缓存

本节回顾

到这里已经够进入下一章。BPE、词表训练、多语言切分差异,只有你要做分词器或批量省 token 时才需要深挖。

⚡ 走神救援

文字会先被切成 token,再变成向量。模型随后处理这些向量;下一站看训练怎样改变模型的行为。

👉 04-训练三阶段.md | 回看结构:02-Transformer原理.md

原始资料:Tokenization algorithms(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度