🏠 总目录📚 本教程 15 · 数学地基 ← →

大模型全景导论 / 15

眼下这个机制,需要补哪一块数学?

按方向查向量/形状/softmax/交叉熵/梯度工具箱,保留原算例和按需进阶路径。

📑 本页目录(点开跳转)

15 · 数学地基:只补当前用得到的

不用从第一行读到最后。找到卡住你的那个问题,先看一个例子;要理解公式时,再点其中的符号。

🎯 一句话

本页帮助你读懂五种常见工具:向量相似度、矩阵形状、softmax、交叉熵和梯度更新。它们不是所有大模型工作的完整数学先修。

🚫 先划掉不需要的

这里的“划掉”是从当前阅读的先修清单中暂时移开,不是宣称这些数学没有用。

可以暂缓的内容 什么情况再补
积分技巧、极限、级数 需要理解连续分布、极限行为或相应推导
矩阵求导的完整推导 自己推新损失、实现算子或检查梯度
凸优化与拉格朗日对偶 读涉及约束优化的算法与证明
实分析、测度论、泛函分析 研究材料明确依赖这些理论
手推完整反向传播 想弄懂自动微分或自己实现框架

零基础可以先走示例入口;想系统学数学也完全可以。两种读法没有优劣,不需要先证明自己“已经会了”。

📊 按方向对照:你需要什么

表中是进入这个方向的第一层工具,不是研究或生产实现的全部要求。

方向 先补什么 本页或下一站
RAG 向量、点积、余弦;检索指标 向量例子、08 RAG
推理优化 参数量、精度、缓存和吞吐的算账 06 推理优化
本地部署 资源估算与单位;不必先推矩阵导数 07 本地部署
Transformer 矩阵乘法、softmax、形状 矩阵形状、02 原理
LoRA 微调 上述工具,加低秩分解的直觉 05 微调
训练与对齐 概率、损失、梯度;深入时补 KL 交叉熵、04 训练
图像生成 概率分布;深入扩散时补马尔可夫链、变分推断 10b 图像生成
可解释性研究 更扎实的线代、实验设计与统计 12 对齐与安全

🧮 核心工具箱

每个工具都按同一个顺序读:要解决什么 → 一个小例子 → 公式 → 使用边界。

① 向量与点积:先把位置配成对

向量可以先理解为一排有顺序的数。例如 $(1,2)$ 有两个位置。点积把两个等长向量的对应位置相乘,再相加,最后得到一个数。

先手算一次: $(1,2)$ 与 $(3,4)$ 的点积是 $1\times3+2\times4=11$。

不要把 11 当成概率。它也没有脱离模型和尺度后独立存在的“语义相似度等级”。

$$a\cdot b=\sum_{i=1}^{d}a_i b_i$$

$d$ 是位置的总数。点击求和符号或乘积,查看它们怎样把一排数变成一个分数。

点积同时受方向和长度影响。 对非零向量,点积为零意味着垂直;点积为负意味着夹角大于 90°,不一定正好反向。

两个向量 点积 这个例子说明什么
(1,0) 与 (2,0) 2 方向相同,长度也影响分数
(100,0) 与 (0,1) 0 向量很长,也不会“和谁点积都大”
(1,0) 与 (-1,1) -1 夹角 135°,不是完全相反的 180°
(1,0) 与 (-1,0) -1 这才是正好反向的例子
负点积不一定意味着完全反向:水平向右与左上方向的夹角为一百三十五度 a = (1,0)b = (-1,1)135°点积 = -1夹角不是 180°
看两根箭头:方向偏离超过直角,就可能出现负点积;只有夹角为 180° 才是完全反向。

如果只想比较方向:余弦相似度

对非零向量,用点积除以两个长度的乘积,得到夹角的余弦。它在 -1 到 1 之间。

$$\cos(a,b)=\frac{a\cdot b}{\lVert a\rVert\lVert b\rVert}$$

分母消除整体尺度影响。如果某个向量为零,不能直接用这个除法。

它们会出现在 Attention 的 $QK^\top$、RAG 检索和 embedding 匹配中,但用法并不完全相同。

检索应采用 embedding 模型训练和文档约定的相似度与归一化方式。单位向量的点积等于余弦,但不能不看模型配置就一律加 normalize。相似度与归一化说明

② 矩阵乘法:先检查形状

把矩阵看成按行、列排列的数。形状相乘时,中间两项必须相等;结果保留外面两项:

$$(m\times k)(k\times n)\longrightarrow(m\times n)$$

例如一批有 2 个样本,每个样本有 3 个特征,乘以一个把 3 个特征变成 4 个新特征的权重矩阵,结果就是 2 行、4 列。结果的每个数仍由“对应相乘再求和”得到。

读代码时可以标上形状,如行内注释 # (B, L, D),减少来回猜测。

记号 含义 示例范围,仅用于认识量级
B 一批多少条输入,batch size 1–64
L 每条序列多少个 token 512–128k
D 每个 token 的表示维度 768–8192
H 注意力头的数量 依模型配置,不等于序列长度

长上下文为什么会增加注意力开销

标准多头注意力的分数张量形状是 (B, H, Lq, Lk):每个查询位置都与各个键位置配对。

自注意力中若查询和键的长度都为 L,形状是 (B, H, L, L)。只看一条序列、一个头,则是一个 L×L 表格。

只计一个头的一张分数表 元素数
L=1,000 1,000,000,即 100 万
L=100,000 10,000,000,000,即 100 亿

L 翻倍,这张分数表的元素数变成 4 倍。 这解释标准全注意力的一项二次开销,不代表整次推理的时间、显存一定都乘 4。KV Cache、FFN、批量大小以及是否显式保存分数矩阵也影响实际成本。

计算注意力的资源需求,先数清每个位置要与多少个位置配对。进一步的计算见06 推理优化。

③ Softmax:把一组分数变成概率

假设三个候选分数是 2.0、1.0、0.1。Softmax 先把每个分数取指数,再除以全部指数之和。

$$\operatorname{softmax}(x)_i=\frac{e^{x_i}}{\sum_j e^{x_j}}$$

$i$ 是当前候选,$j$ 遍历全部候选。输出都为正,合计为 1。

输入分数 概率,四舍五入到两位
2.0 0.66
1.0 0.24
0.1 0.10

看相对大小:第一项最有可能,但不是必然被选中。 模型可以按这些概率抽样,也可以直接选最大项;这是下一步的解码策略。

Attention 用它把匹配分数变成加权比例;语言模型输出层用它形成下一个 token 的概率分布。两处操作相似,候选对象不同。

temperature 动了哪里

对正温度 T,先把分数除以 T,再做 softmax。小 T 通常让概率更集中,大 T 让概率更平坦;这不是“更正确”或“更有创意”的保证。

参数或现象 准确理解
T 接近 0(仍大于 0) 概率集中到最高分;若并列最高,不能说必定只剩一个
API 中设置 T=0 常表示贪心选最大项,不是把 0 代进除法;具体语义看实现
T 很大 对固定有限分数,分布趋于均匀,原本低分项更容易被抽到
top_k / top_p 限制候选集合并重新归一化;它们与温度的处理顺序依实现而定

T=0 不等于跨硬件、服务版本或并列处理都能逐字复现。想稳定输出,应固定可控制的配置并重复测试;想增加多样性,可以把 T=0.7–1.0、top_p=0.9 当作待比较的试验配置,而不是通用最佳组合。

06b 解码策略解释候选怎样被选中;06c 参数实验帮助比较设置。repetition、frequency、presence penalty 的定义不同;尤其 repetition penalty 的中性值并非一律为 0。代码和 JSON 场景先用服务规定的中性配置,避免惩罚必要的重复符号。

④ 交叉熵:正确答案被分到多少概率

真实类别是“猫”。模型给“猫”的概率越低,这个样本的损失就越大。

$$L=-\sum_i y_i\log(\hat p_i)$$

本例用 one-hot 标签:正确类的 $y_i=1$,其他类为 0。$\hat p_i$ 是预测概率,log 使用自然对数。

给正确类的概率 本样本损失
0.9 -log(0.9) ≈ 0.105
0.01 -log(0.01) ≈ 4.605

只看正确类这一项就能理解这个例子。 不是所有训练任务都只能用交叉熵;预测下一个 token 是它的一种常见用途。

已有 softmax 概率与真实标签后,这个式子告诉我们如何计分;它本身不负责更新参数。深入依据见最大似然与交叉熵。

⑤ 梯度下降:沿局部下降方向试一小步

梯度是损失对参数的局部变化率。梯度指向局部最陡上升方向;下降更新要减去它。

$$\theta_{\mathrm{new}}=\theta-\eta\nabla_\theta L$$

$\theta$ 是待更新参数,$\eta$ 是学习率。本式是普通梯度下降的一步;Momentum、Adam 等还有额外状态。

手算一步: 设 $L=\theta^2$,当前 $\theta=2$,梯度为 4。

学习率取 0.1,新参数为 2−0.1×4=1.6,损失从 4 变成 2.56。取过大的学习率则可能越过低点,损失反而增大。

这只是可计算的小例子,不保证神经网络的每个有限步长都使损失下降。

训练现象 先检查,不要直接下结论
loss 不下降 数据与标签、损失定义、梯度是否存在、参数是否真的更新,再比较学习率
loss 为 NaN 或剧烈震荡 输入是否有非有限数、非法除法/对数、溢出、精度、梯度和学习率
训练 loss 降而验证变差 可能过拟合,也检查验证流程、数据分布与统计波动

学习率偏大时可以测试减小(例如试原值的 1/10),但这不是 NaN 的统一处方。先定位从哪一步出现非有限值。

框架的 loss.backward() 可沿已记录的计算图求梯度;它通常不负责更新参数,也不保证你构建的图与损失就是对的。

🎓 进阶:只有挖特定方向才需要

概念 用在哪 先理解到哪一步
低秩分解 LoRA 用两个较小矩阵限制更新的表达形式;不是保证任何任务的最佳更新都低秩
KL 散度 RLHF 约束、蒸馏、变分推断 它比较分布且一般不对称,不能随便交换两边
马尔可夫链 / 变分推断 扩散等概率模型 先理解逐步转移与近似推断,再读推导;用途不限于图像
熵、互信息 信息量、量化与蒸馏分析 需要解释不确定性或信息保留时再补
统计检验 比较评测结果 先理解样本波动与实验设计,不假定你以前学过

对于固定真实分布,在条件合适时,最小化交叉熵与最小化对应 KL、最大化似然可联系起来。KL 的“铺开/集中”行为还依赖可选分布族与优化问题,不能当成换个方向就必然发生的口诀。

📚 补数学的正确姿势

这里提供一种可选读法,不强制读者按固定分钟数完成。

  1. 写下当前卡点,例如“分数为何需要变成总和为 1 的权重”。
  2. 只读对应工具,手算或核对一个例子。
  3. 回到原章节,说明这个工具在当前模型里处理什么输入、产生什么输出。
  4. 如果仍卡在相同基础上,再系统补向量/矩阵、概率分布/期望/条件概率。

喜欢几何直觉的读者可把 3Blue1Brown 的线代系列作为补充材料;这不是本站阅读的先修,也不需要先看完整套视频。

🔗 想更深一层去哪

想搞清楚 去哪
梯度下降与反向传播 ML 基础 08–09
为什么使用交叉熵 数学原理 01:最大似然
注意力怎样从序列建模发展而来 ML 基础 13–14
高维空间的距离现象 数学原理 05:维度灾难
评测的统计显著性 推荐算法 12:评估与 A/B 实验

高维随机点的距离集中有分布前提,不能据此认定真实 embedding 的最近邻没有意义,或 RAG 必须采用某套检索组合。

✅ 检查点

  1. “暂缓某些数学”与“永远不用学”有什么不同?
  2. RAG、推理优化的入门工具是什么?它们是否等于整个方向的全部要求?
  3. 点积与余弦有什么不同?长向量与任何向量的点积都大吗?
  4. B、H、L、D 分别是什么?标准多头自注意力分数张量是什么形状?
  5. 温度改变了什么?T=0 能直接代进公式吗?
  6. 读矩阵代码时,如何利用形状检查输入与输出?
  7. loss 为 NaN 能否直接断定是学习率太大?
  8. 看完一个数学小节后,怎样回到原来的学习任务?
展开核对
  1. 暂缓是当前任务尚未依赖它;以后实现、推导或研究时可能需要。
  2. RAG 先理解向量与指标,推理优化先做资源算账;深入后还会需要更多工具。
  3. 点积受长度与夹角影响,余弦对非零向量去掉整体尺度。长向量与垂直向量点积仍为 0。检索度量应匹配模型约定。
  4. 批量、头数、序列长度、表示维度。自注意力中常为 (B,H,L,L);忽略批量和头数才是 L×L。
  5. 正温度缩放分数,再做 softmax;T=0 不能代入除法,接口可能把它定义为贪心模式。
  6. 检查中间维度是否匹配,推导结果形状,并确认每个维度代表什么。
  7. 不能;检查数据、算术、数值精度、梯度与学习率,先找到非有限值出现的位置。
  8. 带着例子的输入/输出回原章节,解释公式在那个具体上下文中的作用。

本节回顾

不必一次掌握五种工具。能用一个小例子解释当前卡点,就回到你原来那一页。

⚡ 走神救援

先记住这几件事

  • 先看公式处理什么输入、产生什么输出,再看推导。
  • 点积、概率、损失和更新不是同一种量。
  • 数学结论与调参建议都有前提,用小例子和实际测试核对。

下一节 👉 16-你该挖哪一块.md

打卡记录保存在你的浏览器里,首页能看到总进度