05 · 怎样把模型变成你的助手
先判断当前需要改输入、接外部资料,还是改变参数;有训练适配需求再深入 LoRA。
🎯 一句话
微调不是“把资料塞进模型”的万能按钮。它最适合稳定地改变风格、格式、固定任务习惯;若问题是知识会变、资料很多,优先考虑提示词或 RAG。LoRA 则让这种改造不必重训整台模型。
先选路,不要先开训
LoRA 到底改了什么
全量微调会改动模型里几乎所有权重,显存和训练成本很高。LoRA 的想法是:底座不动,只在少数位置挂上小型“改变量”。 训练时只更新这些小部件;使用时把它们的效果加回原模型。
更准确一点说,原权重是大矩阵 W,全量微调会学习完整的改变量 ΔW;LoRA 不直接存 ΔW,而是学习两个更窄的矩阵 A 和 B,用 BA 近似它。中间窄层的宽度叫 rank(秩)。rank 越大,适配器表达的变化越丰富,也会更占显存和更容易把小数据记得过头。
QLoRA 则进一步把冻结的底座权重量化到较低精度,把训练显存主要留给 LoRA 适配器和必要的训练状态。它解决的是“让更大的底座能在有限显存上微调”,并不意味着训练自动变简单或数据要求降低。
PEFT 不只一种挂法:可训练参数放在哪里,会改变训练与推理路径。需要比较方案时再展开;下面原有的任务与数据判断仍然适用。
选读:Prompt、Prefix、Adapter 和 LoRA 分别改哪里?
先固定同一底座、Tokenizer、任务、数据划分与生成规则。以下比较原论文中的典型机制,具体实现可能还训练归一化或任务头,须另记参数清单。
| 方案 | 可训练位置与推理路径 |
|---|---|
| Prompt Tuning | 冻结底座,在输入嵌入前拼接可训练软向量;不是手写文字提示。软提示随输入进入模型,需计算并保留相应上下文。 |
| Prefix Tuning | 冻结底座,给各层注意力提供可学习的前缀激活;因果 LM 中常以额外 K/V 表示。不是只在输入层多放几个向量;推理仍需访问前缀。原方法训练可用重参数化网络,导出的前缀与训练参数量分开算。 |
| 瓶颈 Adapter | 在层内加入降维→非线性→升维的残差支路。底座主权重冻结,新增模块参与每次前向;带非线性时,通常不能像线性 LoRA 那样直接合进一个 W。 |
| LoRA | 在选定线性权重旁训练低秩 A、B,产生缩放后的 BA 更新。普通线性 LoRA 可在推理态合并权重;不合并则保留支路。作用位置和 rank 都影响参数量。 |
| QLoRA | 冻结低精度量化的底座,梯度通过其计算流向 LoRA 参数。训练还需激活与优化器状态;4-bit 权重不表示全部计算、缓存或训练内存都是 4-bit,量化合并也需另验。 |
只数清楚位置,不做排行榜:教学假设宽度 d=8、软提示长 p=3,则输入软提示有 p×d=24 个参数。若 2 层普通 MHA 都直接保存 p 个前缀 K/V,元素数是 2×2×3×8=96,不含训练重参数化网络。一个 8→2→8 Adapter 的两张矩阵共 32 个参数;一个 8×8 权重的 rank=2 LoRA 两张矩阵也共 32 个。后二者均未计偏置和其他模块,前者是每个插入模块、后者是每个目标权重;不能拿这些数当整模型显存或性能比较。
怎么选与怎么查:底座权重装不下时,可评估量化底座+LoRA;需要共享底座切换任务时,再比较各方案的任务文件、额外上下文与前向开销。训练前核对哪些参数有梯度、模板与标签是否正确;用验证集选学习率、rank/前缀长或瓶颈宽度,再用留出题比较标签与格式。已有 05b 数据到验收负责完整闭环。这里没有稳定训练的个人收益记录,也不保证某方案总是更快或更准。
原始机制:Prompt Tuning §2;Prefix-Tuning §4;Adapter §2.1;LoRA §4.1;QLoRA。
它擅长什么,不擅长什么
| 更适合 LoRA | 通常不该靠 LoRA 硬扛 |
|---|---|
| 固定输出格式、分类、抽取 | 经常更新的大量事实 |
| 品牌语气、客服风格 | 需要引用来源的知识问答 |
| 特定任务的短流程 | 复杂的实时计算、精确检索 |
| 用小模型完成窄任务 | 没有高质量训练样例 |
真正难的不是参数,是数据
先准备一小份真实、干净且可评测的数据:输入像真实用户会问的,输出是你真想让模型学的样子;同一份数据不能既训练又拿来宣布“效果很好”。
最小实践顺序是:先写 20–50 个真实样例与评测题 → 试提示词和 few-shot → 仍不稳定时才做小规模 LoRA → 用留出的题比较前后差异。
一条样例应该教模型什么
| 样例部分 | 它在告诉模型什么 | 常见坑 |
|---|---|---|
| 输入 | 用户真实会怎样表达需求 | 只收集理想、整齐的提问 |
| 上下文 | 哪些条件会改变答案 | 把答案所需资料偷偷省掉 |
| 输出 | 你希望的格式、风格、判断 | 样例之间长短和立场互相打架 |
| 留出评测 | 如何判断真的变好 | 拿训练集测试,得到虚高分数 |
小数据微调最常见的失败不是“rank 少了两个”,而是模型学会了样例表面的口头禅,却没学会任务边界。把容易出错、边缘情况、真实失败案例放进数据和评测,通常比无休止扫超参数更有收益。
微调后变差了,先查什么?
先看留出题而不是训练损失:是否开始复读训练样例、是否丢失通用能力、是否只会一种固定回答、是否把不完整资料当成确定事实。再检查数据是否重复、输出是否自相矛盾、训练轮次是否过多。微调是一种受控实验,必须保留基座模型的对照结果。
从数据开始做一次独立实验
先把闭环说清楚:训练出适配器 → 保存 → 配回同一基座 → 用留出题对照。
| 一步 | 实际留下什么 |
|---|---|
| ① 定任务、分数据 | 例如把客服消息分为“退款 / 物流 / 其他”,固定 JSON 输出。示范样本用于训练;验证样本单独保留,选参数时使用;最终对照再留一份未参与调参的题。 |
| ② 训练所选适配器 | 冻结基座,只更新选定模块上的 LoRA 参数;记下目标模块、rank 等配置,别把“训练完成”直接当成任务改善。 |
| ③ 保存并记版本 | 以常见 PEFT 保存方式为例,保留适配器权重和 adapter_config.json;另记录基座名称与精确版本、tokenizer 版本、提示词 / 聊天模板。适配器文件通常不包含整套基座权重。 |
| ④ 重载后做同题比较 | 加载同一版本的基座,再挂载适配器;输入使用同一 tokenizer 与模板。对基座、适配后模型使用相同留出题和生成设置,分别统计标签正确率与 JSON 格式合格率。 |
教学例,不是实跑结果:留出题“订单三天还没发货,什么时候发?”期望 {"类别":"物流"}。基座若答“我帮你查询”,类别意思或许相关,但固定 JSON 格式不合格;适配后若输出期望 JSON,这一道才同时满足分类和格式要求。保存、重载成功只说明文件能用,是否变好要看整份留出题的对照。
想继续看数据和验收细节,再读 05b · LoRA:从数据到验收。
✅ 检查点
- 知识问题优先 RAG;稳定行为问题才考虑微调。
- LoRA 冻结大模型,只训练小适配器。
- 微调成败更多取决于样例质量与评测,不是把参数调得多复杂。
点开核对
先判断是知识还是行为:知识用检索,稳定行为才考虑微调。LoRA 的小适配器降低训练和切换成本,但不能替代真实样例与留出评测。
🔗 想再深一层,去哪一套
| 去哪 | 为什么 |
|---|---|
| 08 · RAG 深水区 | ⭐ 这一页说「知识问题优先 RAG」—— 那条路具体怎么走 |
| 数据这一关 13 · 评测集也是数据 | ⭐ 「成败取决于样例质量与评测」的另一半:留出评测该怎么建、怎么防污染 |
| AI 基础设施 18 · 量化 | QLoRA 的 4-bit 是怎么回事:那一章第四节的 bitsandbytes NF4 就是它用的那一档 |
本节回顾
你已经走完“模型怎么被造出来”的主线。现代模型为什么训练更稳、怎样筛选信息、怎样扩容,都是后面的可选专题。
⚡ 走神救援
先判断问题是知识还是行为:知识用 RAG,稳定行为才用微调。LoRA 的价值是让微调变得小、便宜、可切换,而不是替你解决数据质量问题。