🏠 总目录📚 本教程 02d · 旁支:MoE 扩容 ← →

大模型全景导论 / 02d

每次只开少数专家,省下的是什么、挤爆的又是什么?

先看稀疏FFN路径,再按gate、dispatch/combine、均衡损失和容量检查负载。

📑 本页目录(点开跳转)

专题 D · MoE:怎样把模型做大而不每次全开

⏱ 10 分钟 | 可选专题


🎯 一句话

MoE(混合专家)把一个很大的 FFN 换成很多“专家”FFN。每个 token 不必经过全部专家,只由路由器挑少数几个处理:总容量可以很大,单次计算却不用等比例变贵。

一个 token路由器选 top-2专家 1 ✓专家 2专家 3专家 4专家 5 ✓专家 6
绿色是本次被选中的专家。虚线说明其余专家仍存在,但这个 token 不经过它们。

它真正省了什么,又没省什么

MoE 省的是一次前向计算:每个 token 只激活少数专家。它不一定省显存,因为所有专家的参数仍要放得下;多卡时还会有 token 在设备间搬运的通信成本。

所以看到“总参数 200B、激活参数 20B”时,读法是:每次计算大约只用 20B 的路径,但部署并不等于只需存 20B 的权重。

为什么常替换 FFN,不替换注意力

FFN 本来就是每个 token 独立计算的部分,最适合让不同 token 去不同专家。注意力负责可见 token 间的信息聚合,做稀疏专家化需要另行设计通信与交互。本页只讨论常见的 FFN-MoE,不排除注意力专家化研究。

一个必须知道的代价:别让专家闲着或挤爆

路由器如果总把 token 送给同一两个专家,其他专家学不到东西,热门专家还会拥堵。这叫负载不均衡。训练 MoE 需要处理路由与负载失衡,具体方法依实现而定;因此它不是“白捡的大模型”。

“选少数专家”只是起点;还要决定怎样打分、怎样合并、容量不够时怎么办。需要看机制时再展开。

选读:从 gate 到负载检查的一次最小账

先看一条 token:路由器把输入向量 x 变成每个专家的 logits,再用 softmax 得到 p。选 top-k 后,dispatch 把 x 送进选中的专家 FFN,combine 按门控权重合回相同输出维度。示意采用原 softmax 权重:p=(0.6,0.3,0.1),top-2 的专家输出若为标量 10、4,则本 MoE 支路是 0.6×10+0.3×4=7.2;未选专家不计算。实际向量逐维加权,残差另算。

权重口径要随实现说明:Switch 用 top-1 并保留所选 gate 值;GShard 的 top-2 变体会对所选权重归一化,并结合第二路随机选择与容量限制。不能把上述 7.2 手算直接当成所有 MoE 的 combine 规则。稀疏性减少的是专家支路工作,路由、通信和存储仍有成本。

给出一种具体均衡机制:Switch 在任务损失外加辅助项 L辅助=αNΣ fᵢPᵢ。N 是专家数;在同一个含 T 个有效 token 的路由批次/分组内,fᵢ 是容量裁剪前 top-1 选中专家 i 的 token 比例,Pᵢ 是所有这些 token 对专家 i 的平均 softmax 概率。离散选择计数不能直接求导,P 提供可微信号;该项鼓励分散路由,系数 α 仍要与任务损失一起验证。

独立的两专家手算:T=4,top-1 分配为 A、A、A、B,f=(0.75,0.25),若 P=(0.7,0.3),则辅助项为 α×2×(0.75×0.7+0.25×0.3)=1.2α。另一个手设均匀情形 f=P=(0.5,0.5) 得 α。这只比较两组人为输入,不是训练改善或对任意分布的最优性证明。

容量和 overflow:若上例每专家容量为 2,A 收到 3 个,至少一个装不下,即使 B 还空着也不自动改派。在 Switch 的 drop 规则下,该 token 跳过这一层专家计算,经残差继续,不是把整条 token 从序列删除。增大容量可减少溢出,但增加缓冲、填充计算与通信;改派或 dropless 路线也需相应实现和质量/资源验证,不能无代价替换。

监控两本账:逐层、逐路由组记录裁剪前选中比例与实际接收数、闲置专家数、gate 概率分布、overflow/drop 比例及设备负载;同时看任务损失和语言/领域切片质量。长期少数专家占满或多数闲置需要调查,不能只看总吞吐。token 数均衡不证明专家学成了不同语义,也不能单凭辅助 loss 下降宣布防止塌缩或保证稳定。

原始依据:Switch Transformers §2.1–2.2的 gate、容量和辅助损失;GShard §2.2–3.1的 top-2、dispatch/combine 与容量机制。上述数值均为手算,未运行模型、训练、硬件或集群实验。

✅ 检查点

  • MoE = 很多 FFN 专家 + 路由器每次选少数。
  • 激活参数少,代表一次计算少;不代表总权重和部署成本同样少。
  • MoE 的难点是路由、负载均衡和跨设备通信。
点开核对

MoE 让路由器每次选少数 FFN 专家,所以一次计算更省;但所有专家仍要存下,且必须避免流量都挤到同几位专家。

🔗 想再深一层,去哪一套

去哪 为什么
AI 基础设施 14 · 并行策略怎么组合 ⭐ 「别让专家闲着或挤爆」在集群上的正题:MoE 要加专家并行,走的是 All2All 而不是 AllReduce,最头疼的正是负载不均
AI 基础设施 09 · 显存优化全家桶 「所有柜台仍得在场」意味着显存照吃 —— 那一章是省显存的完整清单
专题 B · SwiGLU:筛选信息 两个专题动的是同一层:SwiGLU 改 FFN 内部,MoE 改「一次启用几个 FFN」

本节回顾

如果你只是使用模型,知道“MoE 容量大但每次只开一部分”即可。top-k、辅助损失、共享专家属于训练与系统专题。

⚡ 走神救援

MoE 像一组专家柜台:每个 token 只被分配到少数柜台,因此一次处理不必启用整组人;但所有柜台仍得在场,也得避免只挤爆几个柜台。

👉 06-推理优化.md

打卡记录保存在你的浏览器里,首页能看到总进度