AI基础设施 · 08
不把 N×N 写回显存,分块 softmax 怎样还算得对?
分块不只是切小矩阵,还要跨块更新 softmax 的归一化量。这里保留完整注意力目标,浮点计算顺序可能不同。
读完能判断:分块怎样保持 softmax 正确、为什么主要省 I/O,以及 Prefill、Decode 与多设备长上下文为什么不能混为一谈。
📑 本页目录(点开跳转)
08 · FlashAttention
⏱ 40 分钟 | ⭐ 这个领域最漂亮的一个优化
🎯 一句话
它保留完整注意力的计算目标,主要靠减少显存搬运提速。 秘密只有一句:别把那个 n×n 的中间矩阵写回显存。 —— 这是第 3 章"少搬点"思想最成功的一次实践。
😖 一、标准 attention 的问题
先把符号翻译成人话:$n$ 是这一头要处理的 token 数,$d$ 是每个头里一个 token 的向量长度;$Q$(Query,查询)表示“我在找什么”,$K$(Key,键)表示“我能用什么被匹配”,$V$(Value,值)表示“匹配后真正取走什么”。三者形状都是 $[n,d]$。$QK^T$ 会让每个查询和每个键都配一次,因此得到 $[n,n]$ 的分数矩阵。
流程图
算一笔账(n = 4096,头维度 d = 128,BF16):
算一算
中间矩阵 S:4096 × 4096 × 2 字节 = 32 MiB ← 【每个头、每个样本】
只数教学主线里的四次往返:写 S、读 S、写 P、读 P ≈ 4 × 32 = 128 MiB
而 Q、K、V、O 合计:4 × 4096 × 128 × 2 字节 = 4 MiB
128 ÷ (128 + 4) ≈ 97%:在这份简化账本里,绝大多数搬运来自马上就会丢掉的中间矩阵 ⭐
算一算
算术强度 = 浮点运算次数 ÷ 搬运字节数:
主要矩阵乘计算 ≈ 4 × n² × d = 4 × 4096² × 128 ≈ 8.59 × 10⁹ FLOP
教学账本的搬运 ≈ 132 MiB = 132 × 2²⁰ 字节
→ 8.59 × 10⁹ ÷ (132 × 2²⁰) ≈ 62 FLOP/字节
若用 A100 的理论 BF16 Tensor Core 峰值约 312 TFLOP/s 与 HBM 带宽约 2 TB/s,平衡点约为 156 FLOP/字节;62 低于 156,所以在这些假设下更可能受带宽限制。换硬件、精度或实现,平衡点也会变。
🔑 注意问题的性质: 问题不只有计算量,还有大量数据搬运。 显存里那个 32 MiB 的矩阵, 生成出来只是为了立刻被读回去用一次,然后丢掉。
💡 二、核心思想:分块 + 在片上完成
因果链
对照
for 每个 Q 块 Qᵢ: ← 外层
初始化 Uᵢ = 0, ℓᵢ = 0, mᵢ = -∞
for 每个 K,V 块 Kⱼ, Vⱼ: ← 内层
在 Shared Memory 里:
Sᵢⱼ = Qᵢ Kⱼᵀ / √d ← 小块,装得下;按需加掩码
更新 running max mᵢ 和指数和 ℓᵢ
Uᵢ ← 修正后的 Uᵢ + 新块未归一化的加权和 ⭐
所有 K,V 块处理完:Oᵢ = Uᵢ / ℓᵢ(每行除以自己的指数和)
写出 Oᵢ ← 只写一次
⭐ 难点:softmax 需要全局的最大值和求和,怎么分块?
对照
标准 softmax:softmax(x)ᵢ = e^(xᵢ - max) / Σ e^(xⱼ - max)
↑ 需要看完【所有】元素才知道
解法:online softmax(增量修正)
📐 增量修正怎么做(想看再点)
已经处理完前面的块,维护三个量: - $m$:目前见过的最大值 - $\ell$:目前的指数和(以 $m$ 为基准) - $U$:目前未归一化的加权和(分子,不是最终输出)
以下按一行来算:新块分数为 $s'$,最大值 $m'$,令 $\tilde P'=e^{s'-m'}$、$\ell'=\sum_j\tilde P'_j$;$V'$ 是对应的值:
$$m^{new} = \max(m, m')$$
$$\ell^{new} = e^{m - m^{new}}\ell + e^{m' - m^{new}}\ell'$$
$$U^{new} = e^{m-m^{new}}U + e^{m'-m^{new}}\,\tilde P' V'$$
所有块处理完,最后还要归一化:$O=U/\ell$。多行时,按行广播除以各行的 $\ell$。
只算两个分数 $[0,0]$,对应标量值 $[2,4]$:最大值为 0,两个指数都是 1,得到 $U=1\times2+1\times4=6$、$\ell=2$,所以 $O=6/2=3$。6 只是分子,不能直接当输出。
💡 人话:每次遇到更大的最大值,就把之前累积的结果 乘一个修正系数 $e^{m-m^{new}}$「打个折」,再加上新块的贡献。
代价:需要指数、缩放修正,反向还可能重算;额外计算量依实现与形状而变。 收益:那个 n×n 矩阵永远不进 HBM。
⭐ 这就是"用计算换带宽"的典型 —— 而在带宽瓶颈下,这笔交易极其划算。
两个分块,真的算一遍
只看一行注意力。第 1 块分数 $[1,0]$,对应标量值 $[2,4]$;第 2 块分数 $[3]$,对应值 $[10]$。这里 $m$ 是目前最大分数,$\ell$ 是按 $m$ 平移后的指数和,$U$ 是尚未除以 $\ell$ 的加权和。
第 1 块:$m_1=1$;权重为 $[e^{1-1},e^{0-1}]=[1,0.3679]$。
$\ell_1=1+0.3679=1.3679$;$U_1=1×2+0.3679×4=3.4716$。
第 2 块出现更大的 3,所以 $m_2=3$。旧结果必须乘 $e^{1-3}=e^{-2}=0.1353$ 后再合并。
$\ell_2=0.1353×1.3679+1=1.1851$。
$U_2=0.1353×3.4716+1×10=10.4698$。
最终 $O=U_2/\ell_2=10.4698/1.1851≈8.834$。直接对 $[1,0,3]$ 做一次完整 softmax 也得到同一结果(允许浮点舍入差异)。⭐ 这一步证明“打折旧结果”不是比喻,而是保持全局归一化正确所必需的重标定。
💡 online softmax 不是 FlashAttention 发明的(它更早), FlashAttention 的贡献是把它和分块、片上计算、反向重算组合成一个完整的 IO 感知算法。
📊 三、收益
先说模型,再读渐近式
这里采用论文的两级存储模型:慢而大的 HBM 与快而小的片上 SRAM。$M$ 表示 SRAM 能容纳的标量元素个数,不是字节数;讨论范围是 $d \le M \le nd$。
在这些假设下,朴素 attention 的 HBM 元素访问量上界为 $O(n²+nd)$;FlashAttention 的 HBM 元素访问量渐近上界为 $O(n²d²/M)$。
这个式子数的是两层存储之间搬了多少个元素,不是额外显存容量,也不是某次 profiler 里直接读到的字节数。估算字节还要乘每个元素的字节数,并计入具体实现常数、布局和额外读写。
$M$ 越大,能在片上复用的块越大,HBM 往返通常越少;但实际倍数仍取决于分块、数据类型、硬件和 kernel 实现 ⭐
| 指标 | 提升 |
|---|---|
| 速度 | 可显著提速;具体收益依 GPU、序列长度、头维度和基线实现实测 ⭐ |
| 显存 | 额外保存量从 O(n²) 降到 O(nd);固定头维度 d 时常简写成 O(n) ⭐ |
| 数值精度 | 同一个注意力公式,不以稀疏或低秩近似换速度;浮点运算顺序不同,可能有舍入差异 ⭐ |
🔑 最重要的是额外保存量从 O(n²) 降到 O(nd)(头维度 $d$ 固定时常简写成 O(n)): 这移除了长上下文的一道关键显存障碍。以 BF16、单头、单样本估算,n=128K 的一个 $n×n$ 中间矩阵就约为 32 GiB。但请别把“能装下”读成“已经便宜”:完整注意力的主要矩阵运算仍随 $n²d$ 增长,128K 是否可运行还取决于层数、batch、硬件、并行和内核。
💡 反向传播怎么办
反向不是只靠 O、ℓ、m 凭空恢复
边界要说完整:$O$、$m$、$\ell$ 只提供输出与逐行归一化信息,不能单独恢复分数;重算 $S$ 仍然需要原来的 $Q$ 和 $K$,计算值梯度还要用到 $V$ 与上游梯度 $dO$。具体内核可能保存 log-sum-exp 等等价统计量,但不会绕过这些数据依赖。
🧭 四、训练、Prefill 与 Decode:不要把一个结论套遍所有阶段
同一个注意力公式,瓶颈不一样
训练 / Prefill(一次读入整段提示):Q 的长度和 K/V 的长度都接近 n,朴素实现可能物化 n×n 中间矩阵。分块与在线 softmax 能省下大量 HBM 往返,也是本章主线。
单 token Decode(一次只生成一个 token):新 Q 的长度是 1,分数形状是 1×n,本来就没有 n×n 新矩阵;主要代价常变成每步读取越来越长的 KV Cache。Prefill 的加速倍数不能直接搬到这里。
多设备长上下文:Ring Attention 把序列块分到多台设备,让 K/V 块沿环传递,并尝试把通信和当前块计算重叠。它解决“单卡装不下”的分布问题,不会把完整注意力的总计算凭空变成线性。
还要分清三类方法:FlashAttention 改的是同一个精确注意力的计算顺序与 I/O;Ring Attention 把精确的分块计算分布到多设备;滑窗或稀疏注意力则会限制可见位置,改变注意力模式以减少计算。三者都可能服务长上下文,但代价与正确性边界不同。
⚠️ “128K 能跑”不等于“模型有效使用了 128K 信息”。内核和并行解决容量、吞吐与延迟;模型能否检索远处信息、位置编码能否外推、训练数据是否覆盖长依赖,仍需单独评测。
🔨 五、怎么用(几乎不用改代码)
# 🧩 骨架:`q` 来自你自己的代码,这一段只看写法
import torch.nn.functional as F
# ⭐ 首选:PyTorch 内置,按输入与配置选择可用后端(含 FlashAttention)
out = F.scaled_dot_product_attention(q, k, v, is_causal=True)
# 确认它真的走了 Flash 后端
from torch.nn.attention import sdpa_kernel, SDPBackend
with sdpa_kernel(SDPBackend.FLASH_ATTENTION):
out = F.scaled_dot_product_attention(q, k, v, is_causal=True)
# ⭐ 如果条件不满足会直接报错,而不是静默回退
⚠️ 什么情况下框架可能不选择 Flash 路径
| 条件 | 要求 |
|---|---|
| 数据类型 | 融合内核通常针对 FP16 / BF16 等类型;精确支持范围取决于设备、框架和后端版本 ⭐ |
| 头维度 | 支持的上限、对齐和前后向能力随内核版本与设备变化,不能把某个版本的数字当永久规则 |
| 张量布局 | 检查末维 stride、形状和后端要求,不宜一概要求全张量连续 |
| attention mask | mask 支持依版本和后端而变;纯因果场景优先表达为 is_causal=True ⭐ |
| GPU 架构 | 必须有当前 PyTorch 构建和目标设备可用的对应后端;不同 fused backend 的硬件范围并不相同 |
💥 真正的坑不是“某个条件永远不支持”,而是假定自己一定走了 Flash 后端。自定义稠密 mask、特殊 stride、设备、dtype、头维度或构建方式都可能影响选择;框架版本变化后,原来的固定清单也可能过期。
✅ 解法:先用默认 SDPA 让框架选后端,再在测试中用
sdpa_kernel(SDPBackend.FLASH_ATTENTION)限定 Flash 后端;不支持时让框架给出警告或错误原因。纯因果场景优先使用is_causal=True。变长序列的 packing 与cu_seqlens属于相应 FlashAttention 变长接口,不是这里F.scaled_dot_product_attention的直接参数。
🧬 六、版本演进(知道区别就够)
| 版本 | 关键改进 |
|---|---|
| FA-1(2022) | 提出分块 + online softmax + 重算 |
| FA-2(2023) | 减少非矩阵乘操作、更好的并行切分 → 进一步提速,收益随硬件和形状变化 ⭐ |
| FA-3(2024) | 针对 H100:异步、FP8、warp 特化;具体收益需匹配精度与基线测试 |
💡 FA-2 的一个关键洞察: Tensor Core 做矩阵乘极快,但非矩阵乘操作(指数、除法)慢得多。 FA-1 里的 online softmax 有大量这类操作,FA-2 重新安排了顺序把它们减到最少。 这提醒我们:优化到后期,"非矩阵乘操作"会变成新的瓶颈。
🧠 七、它给你的一般性启发
因果链
🔗 同一个思路的其他应用: - 算子融合(第 7 章)—— 中间结果留在片上 - 梯度检查点(第 9 章)—— 用重算换激活显存 - PagedAttention(第 17 章)—— 推理侧的同类思想
🔗 和站内其他章的关系
| 相关的地方 | 这里的位置 |
|---|---|
| 第 3 章 存储层次与带宽 | FlashAttention 的全部依据 ⭐ |
| 第 3 章 attention 是带宽瓶颈 | 本章是它的解法 |
| 第 7 章 算子融合 | 同一思想,FlashAttention 是最成功的案例 |
| 全景导论主线 2 · 模型怎样看懂一句话 attention 公式 | 本章优化的就是它 |
| 第 16 章 KV Cache | 解释 Decode 为什么主要读取越来越长的 K/V,而不是再生成 n×n 新矩阵 |
| 第 5 章 跨设备互联 | Ring Attention 的环形 K/V 传递必须同时核算链路带宽、拓扑与通信重叠 |
✅ 检查点
- 标准 attention 的搬运量花在哪了?占比多少?
- FlashAttention 减少了主要矩阵运算次数吗?$O(n²d²/M)$ 中的 $M$ 是什么,这个式子又在数什么?
- 核心思想是什么?靠哪一级存储实现?
- softmax 需要全局最大值,怎么分块?代价是什么?
- 额外保存量从多少降到多少?为什么这只移除长上下文的一道障碍,而不是让总计算变成线性?
- 反向传播需要 P 矩阵但没保存,必须保留或重新使用哪些数据,具体怎样分块重算并得到梯度?
- 为什么不能背一张永久的“Flash 后端五条件”清单?怎样确认当前输入真的走了目标后端?
- Prefill 与单 token Decode 的注意力形状和主要瓶颈有什么不同?
- FlashAttention、Ring Attention 和滑窗/稀疏注意力分别改变了什么?
- FA-2 的关键洞察是什么?它提醒了什么?
- FlashAttention 给出的三条一般性启发是什么?
👀 答案
- 花在那个 n×n 的中间矩阵上。在本章的简化账本里,n=4096 时每个 BF16 中间矩阵为 32 MiB,S/P 的四次往返约 128 MiB,而 Q/K/V/O 合计 4 MiB;128÷132≈97%。这只是为了看清数量级,不是完整 kernel profiler 统计。
- 主要矩阵运算仍是 O(n²d),并可能增加缩放修正与重算。论文的两级存储模型把 HBM 视为慢存储、SRAM 视为快存储;$M$ 是 SRAM 可容纳的标量元素数,范围 $d≤M≤nd$。$O(n²d²/M)$ 是该模型下 HBM元素访问次数的渐近上界,不是额外显存复杂度,也不是实测字节。换成字节还要乘元素大小并考虑实现常数。
- 分块 + 在片上完成:把 Q/K/V 切成能装进 Shared Memory 的小块,在片上算完 softmax 和乘 V,只把最终的 O 写回 HBM——那个 n×n 矩阵从来没进过 HBM。靠片上高速存储(容量与带宽依 GPU 而变)。
- online softmax(增量修正):维护 running max 和 running sum,每遇到更大的最大值就把之前累积的结果乘 e^(m−m_new) 打折再加新块贡献。最后必须用未归一化加权和除以指数和:O=U/ℓ。代价是缩放修正与可能的重算,增量并非固定比例。
- 朴素实现要额外保存 O(n²) 的中间矩阵;FlashAttention 把额外保存量降到 O(nd),固定头维度 d 时常简写为 O(n)。这移除了关键显存障碍,但主要矩阵运算仍是 O(n²d),所以长上下文仍受计算、层数、batch、硬件和并行约束。
- 重算:前向后仍需保留或可访问 Q/K/V、输出 O 和逐行 softmax 统计量 m、ℓ(或等价的 log-sum-exp),反向还会收到上游梯度 dO。内核重新遍历 Q/K 块得到 $S=QK^T/√d$,再用逐行统计量重建 P,随后结合 P、Q、K、V 与 dO 分块累积 dQ、dK、dV。这样避免保存和读取完整 n×n 的 P,带宽受限时可能比读回它更划算。
- 因为 dtype、头维度、stride、mask、设备与构建支持都随框架和内核版本变化。最常见的错误是“调用了 SDPA 就等于用了 Flash”。测试时用
sdpa_kernel(SDPBackend.FLASH_ATTENTION)限定目标后端,让不支持原因显式暴露;纯因果场景优先用is_causal=True。 - Prefill 中 Q 与 K/V 长度都接近 n,朴素实现可能物化 n×n;单 token Decode 的 Q 长度是 1,分数只有 1×n,主要压力常是每一步读取整个 KV Cache。因此 Prefill 的加速倍数不能直接套给 Decode。
- FlashAttention 重排同一个精确注意力的计算与 I/O;Ring Attention 把块分到多设备并环形传递 K/V;滑窗/稀疏注意力限制可见位置,改变了注意力模式来减少计算。
- Tensor Core 做矩阵乘极快,但非矩阵乘操作(指数、除法)慢得多。FA-2 重排顺序把这类操作减到最少。提醒:优化到后期,非矩阵乘操作会变成新瓶颈。
- ①主要矩阵运算量不变也可能提速(优化不等于少算,更多是少搬)②用计算换带宽是划算的 ③要意识到内存层次的存在——同样的算法在哪一层算也会影响性能。
本节回顾
⚡ 走神救援
⭐⭐ 它主要靠减少显存搬运提速——关键是别把那个 n×n 的中间矩阵写回显存。
把账摊开就很清楚:序列一长,中间矩阵的搬运量能占到教学账本的绝大部分,⭐ 而它是一个根本不需要长期保存的东西;在本章给定的 A100 理论峰值、BF16 与形状假设下,算术强度低于平衡点,更可能受带宽限制。换硬件和形状必须重新算。
⭐ 核心思想:分块,在片上高速存储里把 softmax 和乘 V 一次算完,只把结果写回——那个 n×n 矩阵从来没进过显存。难点是 softmax 需要全局最大值,解法是 ⭐ 在线 softmax:维护当前的最大值和累加和,遇到更大的最大值就把已累积的结果按比例打折,再加上新块,最后用 U 除以 ℓ 得到输出。
⚠️ 缩放修正与反向重算可能增加计算,增量依实现与形状而变——⭐ 带宽受限时,用计算换搬运可能更划算。这里“重算”不是只靠 O、ℓ、m:必须重新使用 Q/K/V,结合上游梯度 dO,按块重建分数与 P,再累积 dQ、dK、dV。
📐 看到 $O(n²d²/M)$ 时先记住边界:它是在 $d≤M≤nd$ 的两级存储模型里,以 $M$ 个标量元素为片上容量,计算 HBM 元素访问次数的渐近上界;它不是额外显存复杂度,也不是实测字节。
收益里最该记的一条不是速度:⭐⭐ 额外保存量从 O(n²) 降到 O(nd),固定 d 时常简写为线性——它移除了长上下文的一道关键显存障碍。但完整注意力的计算仍是 O(n²d),能装下不等于已经便宜,更不等于模型会有效利用全部信息。⭐ 它计算同一个注意力公式;浮点舍入可能不同。反向需要那个中间结果却没存,于是重算——在带宽受限时可能更划算。
⚠️ 后端条件不是永久固定的五条规则。最常见的错误是“调用 SDPA 就等于用了 Flash”。处方:用当前框架的后端限定工具让不支持原因显式暴露;纯因果场景优先用
is_causal=True。⭐ 还要记住:Prefill 的 Q 长度接近 n,而单 token Decode 的 Q 长度是 1,后者主要读取 KV Cache,不能直接套用 Prefill 的收益。⭐ 三条可迁移的启发:主要矩阵运算量不变也可能提速(优化是少搬,不是少算)、用计算换带宽常常划算、同样的算法「在哪一层算」也会影响性能。
下一节 👉 09-显存优化全家桶.md
条件与依据
FlashAttention 的后端限制不是固定不变的总表:dtype、头维度、掩码、布局与设备需对照实际 PyTorch/内核版本。强制 sdpa_kernel 可暴露不支持原因。cu_seqlens 是相应变长接口的参数,并非此处 F.scaled_dot_product_attention 的参数;打包后必须显式隔离独立序列。Ring Attention 的结论仅说明把块分布到多设备并重叠通信的机制,不代表任何拓扑都能零代价扩展。
PyTorch SDPA 官方文档;FlashAttention 原论文;FlashAttention-2 论文;Ring Attention 论文