01 · 一张图看懂大模型全景
先知道自己在解决哪一层的问题,不需要先记住所有名词。
🎯 一句话
大模型工作可以按数据、训练、适配、推理运行、应用、评测与治理来定位。做一个应用不等于先从零训练一个模型。
用一个文档问答产品来定位:
- 资料找不对:看 RAG 的文档与检索。
- 答案是否可信不知道:看评测与证据核对。
- 用得起但响应太慢:看推理与部署。
- 想理解模型内部:再走 Transformer 与训练路线。
各主题的章节安排见导论使用说明。
🏭 全景产线图
把图当成各项工作所在的位置。现成模型让应用开发者可以直接从运行或应用层进入,不必完成图中所有上游环节。
图中的提示词、上下文、工具和 Agent 是可组合的应用能力,不是所有产品都要按顺序采用的四道工序。模型评测、安全与数据治理也不能等到最后才做。
🧩 三句话理解整条产线
① 预训练和助手训练,目标不同
预训练让模型通过数据学习可用于预测的表示与规律。以常见自回归语言模型为例,目标是预测下一个 token;它可能继续补写问题,而不是按要求回答。
SFT 用示范回答训练行为,偏好优化进一步调整回答倾向。这能改善助手行为,但不保证回答正确或安全。 各训练方法的区别在04 训练三阶段。
② 一次推理通常不更新权重
让模型更适合业务有两类手段,可以组合:
| 改哪里 | 例子 | 适合先验证什么 |
|---|---|---|
| 改输入或外部环境 | 提示词、RAG、工具 | 指令是否清楚,知识能否查到,任务是否需要外部动作 |
| 改参数 | 微调、LoRA | 有数据支撑的稳定任务行为、格式或领域适配 |
先用容易比较与回退的基线定位问题,再判断是否需要训练。不能用“90% 场景”或“微调永远最后”代替任务分析。
③ 运行资源不只有权重大小
以 70B,即约 700 亿参数作理论算账:
| 只算权重的简化配置 | 算法 | 十进制容量 |
|---|---|---|
| FP16,每参数 2 字节 | 700 亿 × 2 字节 | 140 GB |
| 4 bit,每参数半字节 | 700 亿 × 0.5 字节 | 35 GB |
这是权重存储的理想化下限估算,不是完整显存需求。实际还有量化元数据、KV Cache、激活与工作区等;GB 与 GiB 也不是同一单位。
💰 顺着产线看一遍成本,你会更懂这个领域
比较成本结构,比背一个没有配置的报价更有用。 同一环节的成本会随规模、数据、硬件、流量与人员投入变化。
| 环节 | 主要花在哪里 | 为什么不能套统一数字 |
|---|---|---|
| 预训练 | 数据治理、训练计算、实验与失败重跑 | 小型教学模型与前沿大模型不是同一个项目 |
| SFT 与偏好优化 | 标注/偏好数据、训练、评测 | 数据量、训练方法与质量目标不同 |
| LoRA 微调 | 数据整理、训练资源、验证与维护 | 参数高效不等于零成本,也不保证效果 |
| 部署 | 设备或租赁、缓存、并发、可用性与运维 | 不一定一张卡就够;需求低也未必适合自建 |
| 应用 | 模型调用、检索、存储、权限、监控与开发 | “不用训练”不等于“几乎免费” |
不能把一个项目的报价套到整个环节。本页比较成本结构,不提供采购报价;实际估算要注明模型规模、配置、任务和测量日期。
做选择时先写需求: 数据能否外发、请求量、允许延迟、答案质量与运行责任。再测一个能满足需求的最小方案,不按图的位置判断谁更有价值。
⏳ 三个时间尺度(帮你判断什么值得学)
这些是复核频率的提示,不是知识的固定保质期。
| 类别 | 例子 | 使用前怎么检查 |
|---|---|---|
| 变化快,需查当时版本 | 模型榜单、工具 API、价格、提示词表现 | 日期、版本、任务与测量条件 |
| 随实现演进 | RAG 链路、推理优化、评测方法、MoE/GQA/状态空间模型 | 是否适用当前架构、数据和硬件 |
| 基本关系较稳定,但仍有前提 | 注意力、矩阵形状、自回归、KV Cache、先测量再优化 | 明确假设,不把某种实现推广成所有模型 |
例如,“标准全注意力具有一项关于序列长度的二次开销”有明确范围;“Decode 永远受显存带宽限制”就太绝对,批量、计算量、硬件与并行方式都会影响瓶颈。
上下文变长时的质量变化也要实测,不能仅用“上下文腐烂”解释所有失败。
📊 各个方向的定位与关系
章号对应实际页面;专题可以按当前问题进入,不要求先按编号读完。
| 主题 | 入口 | 核心问题 |
|---|---|---|
| 模型结构 | 02 Transformer | 注意力、FFN、残差分别做什么 |
| 文字表示 | 03 Tokenizer | 文字怎样成为 token,上下文怎样计数 |
| 逐步生成,选读 | 02c Decoder-only | 因果遮罩与自回归怎样配合 |
| 训练 | 04 训练三阶段 | 不同目标改变什么行为 |
| 任务适配 | 05 微调 | 输入方法与参数方法怎样选择 |
| 稳定训练,选读 | 02b Pre-LN / RMSNorm | 层结构与归一化的工程变化 |
| 前馈与位置,选读 | 02e SwiGLU、02f RoPE | 改前馈表达与位置信息 |
| 容量扩展,旁支 | 02d MoE | 通过专家与路由扩大容量 |
| 推理资源 | 06 推理优化 | 如何测资源、速度与成本 |
| 本地运行 | 07 部署与生态 | 在自己控制的环境中运行 |
| 外部知识 | 08 RAG | 取回证据并据此回答 |
| 复杂任务 | 09 推理范式 | 怎样拆任务、使用工具与验证 |
| 非文本任务 | 10 多模态 | 图像、语音、视频的理解与生成 |
| 衡量效果 | 11 评测 | 系统是否变好,哪里退步 |
| 行为与风险 | 12 对齐与安全 | 偏好、行为与风险控制 |
| 运行维护 | 13 LLMOps | 版本、监控、回归与上线 |
| 数据与责任 | 14 合规伦理 | 哪些问题需要权限与合规评估 |
| 数学工具 | 15 数学 | 按当前公式补输入、形状与含义 |
Pre-LN、RMSNorm、SwiGLU、RoPE 是现代 Transformer 中的一组工程改动;MoE 是另一条容量扩展思路。它们不是所有读者都必须依次完成的一条路线。
🔗 这张图上的每一块,站里都有对应的板块
这是补充入口,不假定你学过其他教程。
| 希望深挖 | 已有材料 |
|---|---|
| 应用、工具、Agent 与运行 | 智能体工程教程 |
| RAG 的召回、排序、ANN 与指标 | 推荐算法 |
| 神经网络、反向传播、CNN/RNN 与注意力 | 机器学习与深度学习基础 |
| 为什么使用这些概率、损失与优化方法 | 机器学习的数学原理 |
| 验证、调优与实验方法 | Kaggle 竞赛方法论 |
🧭 从哪个背景过来,哪些概念可以迁移
| 已有经验 | 可以迁移什么 | 仍需核对什么 |
|---|---|---|
| 推荐 / 搜索 | 召回、排序、向量索引、Recall@K/NDCG | RAG 的文档、证据、生成、引用与权限 |
| 训练过模型 / 比赛 | 训练、验证与实验比较 | 大模型的数据、任务和资源条件 |
| 神经网络基础 | 理解 02 的模块与梯度 | 注意力、位置与生成的具体结构 |
| LLM 应用 / Agent | 提示词、上下文、工具与循环 | 当前任务的证据与失败处理 |
| 后端 / 运维 | 服务化、监控、资源与版本 | 模型特有缓存、批量与质量评测 |
| 以上都没有 | 直接从例子入手 | 卡在哪里,再去对应基础页 |
高维随机点的距离集中不能证明 RAG 必须搭配 BM25 或重排。它们是否值得加,要看真实数据上的比较,而不是“有搜索经验就能复用一半”的百分比。
已有训练经验可以迁移,但比较“大模型”和“传统模型”时,先固定任务、数据与评测口径。下面只看一个文本分类例;也可以直接接着看深挖入口。
选读:同样分邮件类别,两种路线怎样比较?
LLM 也属于机器学习。“传统机器学习”不是一个统一模型;这里仅对照“词项特征+监督分类器”和“预训练语言模型”,不把深度学习、迁移学习排除在机器学习之外。
- 任务与训练:词项向量+SVM 可以用已标注的邮件学习固定类别边界。预训练语言模型先从广泛语料学习表示与预测规律,再用指令、上下文示例或微调适配任务;它仍需要任务评测,不能因为能聊天就认为分类可靠。
- 同一道题:对“明天开会,请确认”统一要求输出“工作 / 广告 / 其他”之一。分类器输出类别;LLM 也必须映射到同一标签,不能把一段相关解释直接记作分类正确。训练、调参和最终测试分开,重复邮件不能跨集合泄漏。
- 成本与边界:固定窄任务可以先做小模型基线;需要多个自然语言任务时,可再测预训练模型的迁移方式。一起记录标签指标、长尾类别、延迟、内存/调用成本及更新方式;比较 LLM 时还要计入上游预训练或外部服务成本。规模或一个准确率不能代表所有任务上的优劣。
继续看 预训练与任务适配;监督学习的训练与评测从 ML 基础目录进入。
机制参考:Joachims 的文本分类 SVM 原论文 §2–3;GPT-3 原论文 §2。邮件是教学例,没有训练或模型对比结果。
🧭 对应章节的深挖入口
| 本导论 | 更深的地方 |
|---|---|
| 02 Transformer | ML 基础 13–14:序列与注意力 |
| 04 训练 | ML 基础 08:反向传播,继续到优化器与正则化 |
| 05 微调 | ML 基础目录中的训练与实战章节 |
| 08 RAG | 推荐算法的检索、排序与评估,加智能体工程的 RAG 实验 |
| 09 推理范式 | 智能体工程的工具与 Agent 循环 |
| 11 评测 | 智能体工程、Kaggle 方法论、ML 基础的验证部分 |
| 13 LLMOps | 智能体工程的 tracing、回归与上线检查 |
| 15 数学 | 数学原理 |
⚖️ 一个关键的判断:你真的需要往下走吗?
有继续深入的理由再深入,不把学习完整产线当成做应用的门槛。
| 你的情况 | 下一步 |
|---|---|
| 用现成 API 完成应用 | 先验证应用、评测与安全;有外部资料再补08 RAG |
| 想懂内部机制 | 02、03、04 |
| 有专有数据或行为适配需求 | 05 微调,区分知识查询与训练适配 |
| 成本或内网限制 | 06 优化、07 部署 |
| 想认识模型研究 | 02 原理、04 训练、12 对齐 |
| 图像、语音或视频 | 10 多模态 |
仍犹豫时,去16 方向选择,用当前任务与一个可观察的小实验做决定。
✅ 检查点
- 预训练、SFT 和偏好优化各做什么?是否能保证回答正确?
- 改输入与改权重分别有哪些办法?为什么不应给所有任务规定同一顺序?
- 70B FP16 的 140 GB 是否就是完整显存需求?
- 比较成本时,应记录哪些条件?
- 哪些知识要经常复核?原理有没有适用范围?
- 搜索经验可以迁移什么?为什么不能直接推出“RAG 必须加 BM25”?
展开核对
- 预训练学习预测规律,SFT 学示范行为,偏好优化调整回答倾向;都不构成正确或安全保证。
- 输入侧有提示词、RAG、工具,参数侧有微调等。它们处理的失败不同,应先定位问题。
- 不是;它只按 700 亿参数×2 字节估算权重,还缺缓存、工作区等。
- 模型、精度、数据、硬件、流量、延迟、质量与维护责任。
- 工具、价格、榜单等需查版本和测量条件;基本关系也要核对假设。
- 召回、排序、索引和指标可迁移;随机点的高维现象与真实文本分布不同,检索组合需要消融验证。
本节回顾
用一个实际问题说明它属于模型原理、运行、应用还是可靠上线,并指出相关章节。
先记住这几件事
- 做应用可以直接使用现成模型,不需要先完成上游训练。
- 改输入、改权重、优化运行各自解决不同问题。
- 数字与建议有条件;按实际失败和测量结果选择下一步。
继续原理路线 👉 02-Transformer原理.md | 先补文字表示 👉 03-Tokenizer与上下文.md