15 · 数学地基:只补当前用得到的
不用从第一行读到最后。找到卡住你的那个问题,先看一个例子;要理解公式时,再点其中的符号。
🎯 一句话
本页帮助你读懂五种常见工具:向量相似度、矩阵形状、softmax、交叉熵和梯度更新。它们不是所有大模型工作的完整数学先修。
🚫 先划掉不需要的
这里的“划掉”是从当前阅读的先修清单中暂时移开,不是宣称这些数学没有用。
| 可以暂缓的内容 | 什么情况再补 |
|---|---|
| 积分技巧、极限、级数 | 需要理解连续分布、极限行为或相应推导 |
| 矩阵求导的完整推导 | 自己推新损失、实现算子或检查梯度 |
| 凸优化与拉格朗日对偶 | 读涉及约束优化的算法与证明 |
| 实分析、测度论、泛函分析 | 研究材料明确依赖这些理论 |
| 手推完整反向传播 | 想弄懂自动微分或自己实现框架 |
零基础可以先走示例入口;想系统学数学也完全可以。两种读法没有优劣,不需要先证明自己“已经会了”。
📊 按方向对照:你需要什么
表中是进入这个方向的第一层工具,不是研究或生产实现的全部要求。
| 方向 | 先补什么 | 本页或下一站 |
|---|---|---|
| RAG | 向量、点积、余弦;检索指标 | 向量例子、08 RAG |
| 推理优化 | 参数量、精度、缓存和吞吐的算账 | 06 推理优化 |
| 本地部署 | 资源估算与单位;不必先推矩阵导数 | 07 本地部署 |
| Transformer | 矩阵乘法、softmax、形状 | 矩阵形状、02 原理 |
| LoRA 微调 | 上述工具,加低秩分解的直觉 | 05 微调 |
| 训练与对齐 | 概率、损失、梯度;深入时补 KL | 交叉熵、04 训练 |
| 图像生成 | 概率分布;深入扩散时补马尔可夫链、变分推断 | 10b 图像生成 |
| 可解释性研究 | 更扎实的线代、实验设计与统计 | 12 对齐与安全 |
🧮 核心工具箱
每个工具都按同一个顺序读:要解决什么 → 一个小例子 → 公式 → 使用边界。
① 向量与点积:先把位置配成对
向量可以先理解为一排有顺序的数。例如 $(1,2)$ 有两个位置。点积把两个等长向量的对应位置相乘,再相加,最后得到一个数。
先手算一次: $(1,2)$ 与 $(3,4)$ 的点积是 $1\times3+2\times4=11$。
不要把 11 当成概率。它也没有脱离模型和尺度后独立存在的“语义相似度等级”。
$$a\cdot b=\sum_{i=1}^{d}a_i b_i$$
$d$ 是位置的总数。点击求和符号或乘积,查看它们怎样把一排数变成一个分数。
点积同时受方向和长度影响。 对非零向量,点积为零意味着垂直;点积为负意味着夹角大于 90°,不一定正好反向。
| 两个向量 | 点积 | 这个例子说明什么 |
|---|---|---|
| (1,0) 与 (2,0) | 2 | 方向相同,长度也影响分数 |
| (100,0) 与 (0,1) | 0 | 向量很长,也不会“和谁点积都大” |
| (1,0) 与 (-1,1) | -1 | 夹角 135°,不是完全相反的 180° |
| (1,0) 与 (-1,0) | -1 | 这才是正好反向的例子 |
如果只想比较方向:余弦相似度
对非零向量,用点积除以两个长度的乘积,得到夹角的余弦。它在 -1 到 1 之间。
$$\cos(a,b)=\frac{a\cdot b}{\lVert a\rVert\lVert b\rVert}$$
分母消除整体尺度影响。如果某个向量为零,不能直接用这个除法。
它们会出现在 Attention 的 $QK^\top$、RAG 检索和 embedding 匹配中,但用法并不完全相同。
检索应采用 embedding 模型训练和文档约定的相似度与归一化方式。单位向量的点积等于余弦,但不能不看模型配置就一律加 normalize。相似度与归一化说明
② 矩阵乘法:先检查形状
把矩阵看成按行、列排列的数。形状相乘时,中间两项必须相等;结果保留外面两项:
$$(m\times k)(k\times n)\longrightarrow(m\times n)$$
例如一批有 2 个样本,每个样本有 3 个特征,乘以一个把 3 个特征变成 4 个新特征的权重矩阵,结果就是 2 行、4 列。结果的每个数仍由“对应相乘再求和”得到。
读代码时可以标上形状,如行内注释 # (B, L, D),减少来回猜测。
| 记号 | 含义 | 示例范围,仅用于认识量级 |
|---|---|---|
| B | 一批多少条输入,batch size | 1–64 |
| L | 每条序列多少个 token | 512–128k |
| D | 每个 token 的表示维度 | 768–8192 |
| H | 注意力头的数量 | 依模型配置,不等于序列长度 |
长上下文为什么会增加注意力开销
标准多头注意力的分数张量形状是 (B, H, Lq, Lk):每个查询位置都与各个键位置配对。
自注意力中若查询和键的长度都为 L,形状是 (B, H, L, L)。只看一条序列、一个头,则是一个 L×L 表格。
| 只计一个头的一张分数表 | 元素数 |
|---|---|
| L=1,000 | 1,000,000,即 100 万 |
| L=100,000 | 10,000,000,000,即 100 亿 |
L 翻倍,这张分数表的元素数变成 4 倍。 这解释标准全注意力的一项二次开销,不代表整次推理的时间、显存一定都乘 4。KV Cache、FFN、批量大小以及是否显式保存分数矩阵也影响实际成本。
计算注意力的资源需求,先数清每个位置要与多少个位置配对。进一步的计算见06 推理优化。
③ Softmax:把一组分数变成概率
假设三个候选分数是 2.0、1.0、0.1。Softmax 先把每个分数取指数,再除以全部指数之和。
$$\operatorname{softmax}(x)_i=\frac{e^{x_i}}{\sum_j e^{x_j}}$$
$i$ 是当前候选,$j$ 遍历全部候选。输出都为正,合计为 1。
| 输入分数 | 概率,四舍五入到两位 |
|---|---|
| 2.0 | 0.66 |
| 1.0 | 0.24 |
| 0.1 | 0.10 |
看相对大小:第一项最有可能,但不是必然被选中。 模型可以按这些概率抽样,也可以直接选最大项;这是下一步的解码策略。
Attention 用它把匹配分数变成加权比例;语言模型输出层用它形成下一个 token 的概率分布。两处操作相似,候选对象不同。
temperature 动了哪里
对正温度 T,先把分数除以 T,再做 softmax。小 T 通常让概率更集中,大 T 让概率更平坦;这不是“更正确”或“更有创意”的保证。
| 参数或现象 | 准确理解 |
|---|---|
| T 接近 0(仍大于 0) | 概率集中到最高分;若并列最高,不能说必定只剩一个 |
| API 中设置 T=0 | 常表示贪心选最大项,不是把 0 代进除法;具体语义看实现 |
| T 很大 | 对固定有限分数,分布趋于均匀,原本低分项更容易被抽到 |
| top_k / top_p | 限制候选集合并重新归一化;它们与温度的处理顺序依实现而定 |
T=0 不等于跨硬件、服务版本或并列处理都能逐字复现。想稳定输出,应固定可控制的配置并重复测试;想增加多样性,可以把 T=0.7–1.0、top_p=0.9 当作待比较的试验配置,而不是通用最佳组合。
06b 解码策略解释候选怎样被选中;06c 参数实验帮助比较设置。repetition、frequency、presence penalty 的定义不同;尤其 repetition penalty 的中性值并非一律为 0。代码和 JSON 场景先用服务规定的中性配置,避免惩罚必要的重复符号。
④ 交叉熵:正确答案被分到多少概率
真实类别是“猫”。模型给“猫”的概率越低,这个样本的损失就越大。
$$L=-\sum_i y_i\log(\hat p_i)$$
本例用 one-hot 标签:正确类的 $y_i=1$,其他类为 0。$\hat p_i$ 是预测概率,log 使用自然对数。
| 给正确类的概率 | 本样本损失 |
|---|---|
| 0.9 | -log(0.9) ≈ 0.105 |
| 0.01 | -log(0.01) ≈ 4.605 |
只看正确类这一项就能理解这个例子。 不是所有训练任务都只能用交叉熵;预测下一个 token 是它的一种常见用途。
已有 softmax 概率与真实标签后,这个式子告诉我们如何计分;它本身不负责更新参数。深入依据见最大似然与交叉熵。
⑤ 梯度下降:沿局部下降方向试一小步
梯度是损失对参数的局部变化率。梯度指向局部最陡上升方向;下降更新要减去它。
$$\theta_{\mathrm{new}}=\theta-\eta\nabla_\theta L$$
$\theta$ 是待更新参数,$\eta$ 是学习率。本式是普通梯度下降的一步;Momentum、Adam 等还有额外状态。
手算一步: 设 $L=\theta^2$,当前 $\theta=2$,梯度为 4。
学习率取 0.1,新参数为 2−0.1×4=1.6,损失从 4 变成 2.56。取过大的学习率则可能越过低点,损失反而增大。
这只是可计算的小例子,不保证神经网络的每个有限步长都使损失下降。
| 训练现象 | 先检查,不要直接下结论 |
|---|---|
| loss 不下降 | 数据与标签、损失定义、梯度是否存在、参数是否真的更新,再比较学习率 |
| loss 为 NaN 或剧烈震荡 | 输入是否有非有限数、非法除法/对数、溢出、精度、梯度和学习率 |
| 训练 loss 降而验证变差 | 可能过拟合,也检查验证流程、数据分布与统计波动 |
学习率偏大时可以测试减小(例如试原值的 1/10),但这不是 NaN 的统一处方。先定位从哪一步出现非有限值。
框架的 loss.backward() 可沿已记录的计算图求梯度;它通常不负责更新参数,也不保证你构建的图与损失就是对的。
🎓 进阶:只有挖特定方向才需要
| 概念 | 用在哪 | 先理解到哪一步 |
|---|---|---|
| 低秩分解 | LoRA | 用两个较小矩阵限制更新的表达形式;不是保证任何任务的最佳更新都低秩 |
| KL 散度 | RLHF 约束、蒸馏、变分推断 | 它比较分布且一般不对称,不能随便交换两边 |
| 马尔可夫链 / 变分推断 | 扩散等概率模型 | 先理解逐步转移与近似推断,再读推导;用途不限于图像 |
| 熵、互信息 | 信息量、量化与蒸馏分析 | 需要解释不确定性或信息保留时再补 |
| 统计检验 | 比较评测结果 | 先理解样本波动与实验设计,不假定你以前学过 |
对于固定真实分布,在条件合适时,最小化交叉熵与最小化对应 KL、最大化似然可联系起来。KL 的“铺开/集中”行为还依赖可选分布族与优化问题,不能当成换个方向就必然发生的口诀。
📚 补数学的正确姿势
这里提供一种可选读法,不强制读者按固定分钟数完成。
- 写下当前卡点,例如“分数为何需要变成总和为 1 的权重”。
- 只读对应工具,手算或核对一个例子。
- 回到原章节,说明这个工具在当前模型里处理什么输入、产生什么输出。
- 如果仍卡在相同基础上,再系统补向量/矩阵、概率分布/期望/条件概率。
喜欢几何直觉的读者可把 3Blue1Brown 的线代系列作为补充材料;这不是本站阅读的先修,也不需要先看完整套视频。
🔗 想更深一层去哪
| 想搞清楚 | 去哪 |
|---|---|
| 梯度下降与反向传播 | ML 基础 08–09 |
| 为什么使用交叉熵 | 数学原理 01:最大似然 |
| 注意力怎样从序列建模发展而来 | ML 基础 13–14 |
| 高维空间的距离现象 | 数学原理 05:维度灾难 |
| 评测的统计显著性 | 推荐算法 12:评估与 A/B 实验 |
高维随机点的距离集中有分布前提,不能据此认定真实 embedding 的最近邻没有意义,或 RAG 必须采用某套检索组合。
✅ 检查点
- “暂缓某些数学”与“永远不用学”有什么不同?
- RAG、推理优化的入门工具是什么?它们是否等于整个方向的全部要求?
- 点积与余弦有什么不同?长向量与任何向量的点积都大吗?
- B、H、L、D 分别是什么?标准多头自注意力分数张量是什么形状?
- 温度改变了什么?T=0 能直接代进公式吗?
- 读矩阵代码时,如何利用形状检查输入与输出?
- loss 为 NaN 能否直接断定是学习率太大?
- 看完一个数学小节后,怎样回到原来的学习任务?
展开核对
- 暂缓是当前任务尚未依赖它;以后实现、推导或研究时可能需要。
- RAG 先理解向量与指标,推理优化先做资源算账;深入后还会需要更多工具。
- 点积受长度与夹角影响,余弦对非零向量去掉整体尺度。长向量与垂直向量点积仍为 0。检索度量应匹配模型约定。
- 批量、头数、序列长度、表示维度。自注意力中常为 (B,H,L,L);忽略批量和头数才是 L×L。
- 正温度缩放分数,再做 softmax;T=0 不能代入除法,接口可能把它定义为贪心模式。
- 检查中间维度是否匹配,推导结果形状,并确认每个维度代表什么。
- 不能;检查数据、算术、数值精度、梯度与学习率,先找到非有限值出现的位置。
- 带着例子的输入/输出回原章节,解释公式在那个具体上下文中的作用。
本节回顾
不必一次掌握五种工具。能用一个小例子解释当前卡点,就回到你原来那一页。
⚡ 走神救援
先记住这几件事
- 先看公式处理什么输入、产生什么输出,再看推导。
- 点积、概率、损失和更新不是同一种量。
- 数学结论与调参建议都有前提,用小例子和实际测试核对。
下一节 👉 16-你该挖哪一块.md