🏠 总目录📚 本教程 05 · 怎样适配你的任务 ← →

大模型全景导论 / 05

需求该交给提示词、RAG,还是LoRA?

先决策再看冻结W与低秩支路的同形相加,继续核对PEFT比较、参数计数和数据目标。

📑 本页目录(点开跳转)

05 · 怎样把模型变成你的助手

先判断当前需要改输入、接外部资料,还是改变参数;有训练适配需求再深入 LoRA。


🎯 一句话

微调不是“把资料塞进模型”的万能按钮。它最适合稳定地改变风格、格式、固定任务习惯;若问题是知识会变、资料很多,优先考虑提示词或 RAG。LoRA 则让这种改造不必重训整台模型。

先选路,不要先开训

你想改变什么?知识要新、要可追溯?文档、规则、库存、政策行为要稳定、任务重复?格式、风格、固定分类先用 RAG / 工具再考虑 LoRA 微调
先排除不该微调的需求。能靠提示词、few-shot 或 RAG 解决的事,通常更便宜、更容易更新。

LoRA 到底改了什么

全量微调会改动模型里几乎所有权重,显存和训练成本很高。LoRA 的想法是:底座不动,只在少数位置挂上小型“改变量”。 训练时只更新这些小部件;使用时把它们的效果加回原模型。

LoRA怎样变成原权重的改变量? 列向量约定。输入x为4乘1。冻结权重W为3乘4。可训练A为1乘4,B为3乘1,rank为1。两个支路均输出3乘1,相加得到y。原权重有12个参数,LoRA有4加3等于7个参数。这只是小型教学例。普通LoRA在推理状态下可把缩放后的BA加进W,形成同形状的W合并;量化合并和数值误差需另测。 小矩阵怎样接回原权重?普通 LoRA · 单层教学例 · r = 1输入 x:4 × 1W:3 × 4冻结不更新Wx:3 × 1A:1 × 4Ax:1 × 1B:3 × 1BAx:3 × 1+y = Wx + sBAxs = α/r;本例取 α = r = 1① 少训练的是参数W:3 × 4 = 12 个A、B:1 × 4 + 3 × 1 = 7 个② 合并后仍是同样的形状W合并 = W + sBA(3 × 4) + (3 × 1)(1 × 4)推理时:y = W合并 x只展示单层,不代表整模型省显存比例。合并按推理态;量化与舍入误差另测。
列向量约定:W 为 3×4,A 为 1×4,B 为 3×1。冻结支路和 LoRA 支路都输出 3×1,才可以相加;普通 LoRA 在推理态可把 sBA 合进同形状的 W。这里是单层手算例,7/12 不代表整模型显存比例。 机制来源:LoRA paper v2, section 4.1。

更准确一点说,原权重是大矩阵 W,全量微调会学习完整的改变量 ΔW;LoRA 不直接存 ΔW,而是学习两个更窄的矩阵 A 和 B,用 BA 近似它。中间窄层的宽度叫 rank(秩)。rank 越大,适配器表达的变化越丰富,也会更占显存和更容易把小数据记得过头。

QLoRA 则进一步把冻结的底座权重量化到较低精度,把训练显存主要留给 LoRA 适配器和必要的训练状态。它解决的是“让更大的底座能在有限显存上微调”,并不意味着训练自动变简单或数据要求降低。

PEFT 不只一种挂法:可训练参数放在哪里,会改变训练与推理路径。需要比较方案时再展开;下面原有的任务与数据判断仍然适用。

选读:Prompt、Prefix、Adapter 和 LoRA 分别改哪里?

先固定同一底座、Tokenizer、任务、数据划分与生成规则。以下比较原论文中的典型机制,具体实现可能还训练归一化或任务头,须另记参数清单。

方案可训练位置与推理路径
Prompt Tuning冻结底座,在输入嵌入前拼接可训练软向量;不是手写文字提示。软提示随输入进入模型,需计算并保留相应上下文。
Prefix Tuning冻结底座,给各层注意力提供可学习的前缀激活;因果 LM 中常以额外 K/V 表示。不是只在输入层多放几个向量;推理仍需访问前缀。原方法训练可用重参数化网络,导出的前缀与训练参数量分开算。
瓶颈 Adapter在层内加入降维→非线性→升维的残差支路。底座主权重冻结,新增模块参与每次前向;带非线性时,通常不能像线性 LoRA 那样直接合进一个 W。
LoRA在选定线性权重旁训练低秩 A、B,产生缩放后的 BA 更新。普通线性 LoRA 可在推理态合并权重;不合并则保留支路。作用位置和 rank 都影响参数量。
QLoRA冻结低精度量化的底座,梯度通过其计算流向 LoRA 参数。训练还需激活与优化器状态;4-bit 权重不表示全部计算、缓存或训练内存都是 4-bit,量化合并也需另验。

只数清楚位置,不做排行榜:教学假设宽度 d=8、软提示长 p=3,则输入软提示有 p×d=24 个参数。若 2 层普通 MHA 都直接保存 p 个前缀 K/V,元素数是 2×2×3×8=96,不含训练重参数化网络。一个 8→2→8 Adapter 的两张矩阵共 32 个参数;一个 8×8 权重的 rank=2 LoRA 两张矩阵也共 32 个。后二者均未计偏置和其他模块,前者是每个插入模块、后者是每个目标权重;不能拿这些数当整模型显存或性能比较。

怎么选与怎么查:底座权重装不下时,可评估量化底座+LoRA;需要共享底座切换任务时,再比较各方案的任务文件、额外上下文与前向开销。训练前核对哪些参数有梯度、模板与标签是否正确;用验证集选学习率、rank/前缀长或瓶颈宽度,再用留出题比较标签与格式。已有 05b 数据到验收负责完整闭环。这里没有稳定训练的个人收益记录,也不保证某方案总是更快或更准。

原始机制:Prompt Tuning §2;Prefix-Tuning §4;Adapter §2.1;LoRA §4.1;QLoRA。

它擅长什么,不擅长什么

更适合 LoRA 通常不该靠 LoRA 硬扛
固定输出格式、分类、抽取 经常更新的大量事实
品牌语气、客服风格 需要引用来源的知识问答
特定任务的短流程 复杂的实时计算、精确检索
用小模型完成窄任务 没有高质量训练样例

真正难的不是参数,是数据

先准备一小份真实、干净且可评测的数据:输入像真实用户会问的,输出是你真想让模型学的样子;同一份数据不能既训练又拿来宣布“效果很好”。

最小实践顺序是:先写 20–50 个真实样例与评测题 → 试提示词和 few-shot → 仍不稳定时才做小规模 LoRA → 用留出的题比较前后差异。

一条样例应该教模型什么

样例部分 它在告诉模型什么 常见坑
输入 用户真实会怎样表达需求 只收集理想、整齐的提问
上下文 哪些条件会改变答案 把答案所需资料偷偷省掉
输出 你希望的格式、风格、判断 样例之间长短和立场互相打架
留出评测 如何判断真的变好 拿训练集测试,得到虚高分数

小数据微调最常见的失败不是“rank 少了两个”,而是模型学会了样例表面的口头禅,却没学会任务边界。把容易出错、边缘情况、真实失败案例放进数据和评测,通常比无休止扫超参数更有收益。

微调后变差了,先查什么?

先看留出题而不是训练损失:是否开始复读训练样例、是否丢失通用能力、是否只会一种固定回答、是否把不完整资料当成确定事实。再检查数据是否重复、输出是否自相矛盾、训练轮次是否过多。微调是一种受控实验,必须保留基座模型的对照结果。

从数据开始做一次独立实验

先把闭环说清楚:训练出适配器 → 保存 → 配回同一基座 → 用留出题对照。

一步实际留下什么
① 定任务、分数据例如把客服消息分为“退款 / 物流 / 其他”,固定 JSON 输出。示范样本用于训练;验证样本单独保留,选参数时使用;最终对照再留一份未参与调参的题。
② 训练所选适配器冻结基座,只更新选定模块上的 LoRA 参数;记下目标模块、rank 等配置,别把“训练完成”直接当成任务改善。
③ 保存并记版本以常见 PEFT 保存方式为例,保留适配器权重和 adapter_config.json;另记录基座名称与精确版本、tokenizer 版本、提示词 / 聊天模板。适配器文件通常不包含整套基座权重。
④ 重载后做同题比较加载同一版本的基座,再挂载适配器;输入使用同一 tokenizer 与模板。对基座、适配后模型使用相同留出题和生成设置,分别统计标签正确率与 JSON 格式合格率。

教学例,不是实跑结果:留出题“订单三天还没发货,什么时候发?”期望 {"类别":"物流"}。基座若答“我帮你查询”,类别意思或许相关,但固定 JSON 格式不合格;适配后若输出期望 JSON,这一道才同时满足分类和格式要求。保存、重载成功只说明文件能用,是否变好要看整份留出题的对照。

想继续看数据和验收细节,再读 05b · LoRA:从数据到验收。

✅ 检查点

  • 知识问题优先 RAG;稳定行为问题才考虑微调。
  • LoRA 冻结大模型,只训练小适配器。
  • 微调成败更多取决于样例质量与评测,不是把参数调得多复杂。
点开核对

先判断是知识还是行为:知识用检索,稳定行为才考虑微调。LoRA 的小适配器降低训练和切换成本,但不能替代真实样例与留出评测。

🔗 想再深一层,去哪一套

去哪 为什么
08 · RAG 深水区 ⭐ 这一页说「知识问题优先 RAG」—— 那条路具体怎么走
数据这一关 13 · 评测集也是数据 ⭐ 「成败取决于样例质量与评测」的另一半:留出评测该怎么建、怎么防污染
AI 基础设施 18 · 量化 QLoRA 的 4-bit 是怎么回事:那一章第四节的 bitsandbytes NF4 就是它用的那一档

本节回顾

你已经走完“模型怎么被造出来”的主线。现代模型为什么训练更稳、怎样筛选信息、怎样扩容,都是后面的可选专题。

⚡ 走神救援

先判断问题是知识还是行为:知识用 RAG,稳定行为才用微调。LoRA 的价值是让微调变得小、便宜、可切换,而不是替你解决数据质量问题。

👉 02b-现代LLM架构的四处改动.md

打卡记录保存在你的浏览器里,首页能看到总进度