🏠 总目录📚 本教程 04 · 从续写机到助手 ← →

大模型全景导论 / 04

模型会续写,离会当助手还差哪两步?

用预训练、SFT与偏好/安全对齐的目标差异定位训练问题,保留数据配方、对齐和scaling深度。

📑 本页目录(点开跳转)

04 · 它怎样从续写机变成助手

原理路线:02 → 03 → 当前页 → 05。先分清训练目标,不需要先读完现代架构专题。


🎯 一句话

模型不是被一次训练“造完”的。常见教学路线分三步(不是所有模型必须遵守的固定工序):预训练给它广泛能力,SFT 教它按任务回答,对齐教它在多个回答里偏向更合适的那个。

① 预训练读海量文本与代码练:下一个 token 是什么② SFT看高质量问答示例学:怎样按指令回答③ 对齐比较多个回答的偏好学:何时更有帮助、稳妥三种不同的数据,在塑造三种不同能力。
看箭头即可:前一步造出“能续写”的底座,后一步才把它调成聊天助手。

第一步:预训练,学的是世界里的模式

预训练数据是海量的网页、书籍、代码和多语言文本。模型反复做“遮住末尾,猜下一个 token”。为了把这个任务做好,它不得不学到语言模式、知识关联、代码结构和常见问题的回答方式。

模型的基础知识和大部分能力,主要来自预训练,而不是后来几千条微调样本。

这里最容易误会的一点是:预训练不是“把互联网背下来”。模型压缩的是统计规律——哪些说法常一起出现、代码通常怎样收尾、某种问题可能有哪些解法。参数越多、数据越干净且覆盖越广、训练算力越够,这种压缩能力通常越强;但它依旧可能记错、过时或在没把握时编出看似合理的答案。

数据质量也不是配角。重复、垃圾网页、矛盾信息和版权风险都会进入训练信号;因此大模型公司会做清洗、去重、过滤和数据配比。模型能力并不只取决于“多少参数”,还取决于“拿什么数据、训练了多久”。

清洗、去重和配比要连成可追溯的数据流,并检查处理后留下了什么。想看流程,再展开;这里不重复数据质量页的计数例。

选读:预训练原文怎样变成可检查的训练语料?
  1. 固定输入:记录网页/书籍/代码等来源、时间、授权与版本,保留可追溯标识;先检查提取是否丢正文或混入导航模板。原始文本不是天然干净的训练样本。
  2. 处理并记账:按任务与语言选择提取、过滤、精确/近似去重规则。记录规则版本、重复簇、保留/删除理由,以及每步按来源的输入和保留量;规则通过不等于内容正确。
  3. 检查构成再采样:明确均衡指来源域、语言还是类别,计量用文档数还是 token 数。过滤和去重会改变各组占比,不能默认全部五五开。统一计数例只在 数据08:过滤—去重—混合对账维护;其按文档的条件比例不能直接当作预训练 token 配方。
  4. 输出并独立检查:固定 Tokenizer 与序列拼接规则,保留训练分片及数据清单。用未参与规则选择的人工标注切片抽查误删、垃圾残留和稀有内容覆盖,核查训练与评测的重复/污染,再以固定任务评估语料版本影响。只数保留量不能证明模型更好。

别把三个对象混成一个:预训练处理连续文本与 token 序列;SFT 还要验证问题、上下文、理想回答及聊天模板;偏好数据则需要同一提示下的候选回答与比较依据。通用表格的空值检查、或 SFT 的 JSON 合法检查,都不能代替全部预训练语料检查。

参考 FineWeb §3.2–3.7、附录E中提取、过滤、去重及消融的分工。它是英语网页数据策展案例,不是所有语言、领域或模型的固定流程与阈值。本页流程是教学说明,未处理规模语料或训练模型。

第二步:SFT,学的是“怎么当助手”

SFT(监督微调)给模型看成对的示例:用户怎么问,理想回答长什么样。它特别擅长改变格式、语气、任务流程,例如“先给结论再解释”“输出 JSON”“按客服口吻回复”。

关键边界:SFT 可以教表达方式,不能用很少的数据重写一个模型的大量基础知识。想让回答依据私有且会变的资料,通常应使用 RAG,而不是硬塞进微调数据。

这不是说 SFT 没有价值。一个基础模型可能会续写,却不知道用户的问题在哪里结束、答案应该怎样组织;SFT 用相对少但高质量的“问题 → 理想回答”示范,把通用续写能力接到具体任务接口上。它像教一个知识很广的人采用某个团队的工作方式,而不是让他一夜读完一座图书馆。

第三步:对齐,学的是偏好与边界

同一问题常有多个“并非完全错误”的回答:一个太啰嗦,一个不安全,一个实用但没说清限制。对齐训练让模型学会偏向人更愿意接受的回答。

RLHF 是利用人类反馈的训练路线;DPO 直接用成对偏好优化;GRPO 则是利用组内相对奖励估计优势的强化学习算法,奖励可来自奖励模型或可验证任务,不限于人类偏好。

对齐也有代价。模型被要求更谨慎时,可能变得更爱拒绝、回答更长,或者在边界模糊的问题上过度保守;这常被叫作“对齐税”。它不表示安全训练毫无意义,而是提醒你:安全、帮助性、简洁、创造性之间需要真实评测和取舍,不能只看一个榜单分数。

RLHF、DPO、GRPO 的最小区别

RLHF 常先训练一个“奖励模型”模拟人类偏好,再用强化学习优化语言模型;DPO 直接用“这个回答比那个回答好”的成对数据来优化,流程更短;GRPO 利用同一问题多个采样答案的组内相对奖励估计优势,无需单独的价值模型,常用于数学、代码等较容易判断对错的推理任务。三者共同点都是:只靠“下一个词像不像原文”不够,还要加入“哪个回答更好”的信号。

奖励变高和任务变好不是一回事。后训练还需要隔离数据、独立验证和上线后的风险观察;需要时再读下面这一例。

选读:奖励模型喜欢的回答,怎样知道真的有用?

沿用客服分类任务,虚构提示“订单三天还没发货,什么时候发?”要求输出 JSON。回答 A 简短且标为“物流”,回答 B 很礼貌但标成“退款”。构造偏好对时按既定标注规则核对类别、格式与帮助性,不能因为 B 更长就偏向它;分歧保留复审。此例不代表任何模型已生成或学会这两个回答。

  • 隔离数据:SFT 示范、奖励/偏好训练、调参验证与最终测试用途分开。同一提示的改写和候选回答留在同一组,按用户/任务族或时间等真实泄漏路径划分;记录来源、版本、标注规则和分歧,不能用训练偏好对宣布泛化。
  • 分别验奖励与策略:在留出偏好对上检查奖励模型判别人类偏好的准确率及错误切片,再独立检查策略的标签正确率、JSON 合格率与盲评偏好。若 B 获更高奖励却标签错误,先查奖励的长度/语气偏差和标注定义;奖励分数不是任务真值。DPO 路线没有单独拟合显式奖励模型,也仍需独立任务与偏好评估。
  • 连到使用风险:离线比较时一起看有害输出、误拒、长尾任务退化;具备上线条件后才用受控小流量观察工单解决率、错误转接/投诉及延迟,并设回退条件。反馈有选择偏差,不能把点击或满意度单独当奖励真值。这里没有上线或收益数据。

机制与隔离依据:InstructGPT §3按用户隔离训练/验证/测试并评测偏好;DPO §4直接优化偏好;DeepSeekMath §4.1的 GRPO 使用组内相对奖励。算法细节沿用 RLHF和 DPO 主章;本例的业务指标与回退规则是设计步骤,不是论文的线上结论。

把问题放回三阶段

你观察到的问题 优先怀疑哪一层 常见处理方向
不知道新资料、事实过时 预训练外 RAG、搜索、换模型
总不按格式答、语气不稳定 SFT / 提示词 few-shot、微调
太爱拒绝、太爱免责声明 对齐 提示词、模型选择、评测

✅ 检查点

  • 预训练:让模型拥有广泛的续写能力。
  • SFT:让模型更会按任务和格式回答。
  • 对齐:让模型在多个可行回答中更偏向人类希望的方式。
点开核对

预训练给能力,SFT 给任务表达方式,对齐给偏好与边界。资料会变不是微调的主要用武之地,优先考虑 RAG。

🔗 想再深一层,去哪一套

去哪 为什么
强化学习基础 12 · RLHF 全流程 ⭐ 第三步「对齐」的完整版:奖励模型怎么训、PPO 到底在优化什么
强化学习基础 13 · DPO 与免 RL 对齐 同一步的短路径:不训奖励模型、不跑 RL 也能对齐,代价是什么
AI 基础设施 14 · 并行策略怎么组合 第一步「预训练」在几百张卡上怎么跑起来:数据 / 张量 / 流水线并行怎么搭
数据这一关 13 · 评测集也是数据 三个阶段都靠评测判断有没有变好,而评测集本身会坏

本节回顾

先把“三种数据塑造三种能力”记住。Scaling Law、奖励模型、强化学习推导,等你真要训练或评估模型时再学。

下面的 Scaling Law 选读说明如何分配训练预算。

选读:参数更多,为什么还要同时问数据和预算?

Scaling Law 描述的是特定模型族、数据分布与训练设置下的经验关系。例如用留出文本的交叉熵损失观察参数量 N、训练 token 数 D、训练计算量 C 的趋势;某一任务的准确率、事实性和安全性还须分别评测,不能从损失趋势直接包办。

要分开问两件事:固定其他条件增加 N 或 D,损失怎样拟合变化;固定 C,又该怎样分给 N 与 D。对类似的稠密架构作粗略算账时,训练计算常近似与 N×D 成正比;教学配置“参数单位 2、token 单位 8”和“4、4”都有乘积 16,但同预算不意味着同损失,更不能只看后一配置参数翻倍就宣布更好。这只是预算指数手算,没有拟合损失或实际 FLOPs 测量。

先在匹配的数据与架构上做多档预算实验,用留出数据拟合并检查预测误差;还要计入数据质量、重复训练、序列长度、推理成本与可用资源。拟合区间外存在不确定性,固定数据不足时无限堆参数不构成改善保证。Kaplan 等的 Scaling Laws与 Chinchilla §3对预算分配的不同估计,也提醒我们结论依赖实验设置,不能把某个最优配比当永恒常数。

⚡ 走神救援

预训练让它有能力,SFT 让它会办事,对齐让它更像可用的助手。下一页看:如果你有自己的任务和数据,应该何时、怎样改造它。

👉 05-微调与LoRA.md

原始资料:DeepSeekMath / GRPO(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度