12 · 对齐:让模型长成想要的样子
⏱ 30 分钟 | ⭐ 它为什么有时过度拒绝、有时又一味顺着你
🎯 一句话
对齐希望模型有用、诚实、无害。具体任务可能出现取舍,也可能通过更好的数据和方法同时改善多个目标。
过度拒绝与谄媚是需要评测的现象,不能仅凭现象推断某个目标“调得太高”。
⚠️ 有人主动来攻你的系统时该怎么办,是下一页的事,那一页更像一份可执行清单。
🧭 先分清两层安全
- 提示注入、沙箱、权限、出口控制、硬边界
- 假设:模型可能被骗 → 用确定性边界兜底
- 这是做应用的人自己要做的
- 模型本身的价值观、拒绝能力、诚实性、可解释性
- 假设:模型能力越强,让它"想做对的事"越重要
- 这是模型提供方在做的,但你需要理解
🧠 一、对齐要解决的三个目标
经典的 HHH 框架:
| 目标 | 含义 | 张力 |
|---|---|---|
| Helpful 有用 | 帮助完成正当目标 | 遇到有害请求时,需要选择安全的帮助方式 |
| Honest 诚实 | 不编造、承认不确定 | 说明不知道并提供核查办法,也可以很有用 |
| Harmless 无害 | 减少可预见伤害 | 要兼顾拦住危险请求与避免误拒正常请求 |
“对齐税”描述某些能力下降的实测代价,不是三目标永远零和的定律。Constitutional AI 研究 也讨论同时改善表现的方法。
🎚️ 这个张力你每天都在遇到
| 假想现象 | 可以查什么 |
|---|---|
| “怎么杀死一个 Python 进程”被拒 | 是否误判词义、上下文不足,或安全分类/策略过宽 |
| 合法爬虫请求只得到说教 | 是否区分授权范围、用途与真正风险 |
| 用户反驳一次就跟着改口 | 是否重新核对证据,还是仅仅附和 |
| 不确定时编造答案 | 数据、任务能力、生成目标与校准是否有问题 |
用同一组正常与危险请求比较正确回答、正确拒绝和误拒,才能判断改动效果,不能简化成“三角里选了一个点”。 💡 对你的实际含义:
模型拒绝回答时,先想想是不是触发了 Harmless 那一侧—— 换个更明确、更具上下文的表述(说清用途和场景)常常就能通过。 这不是"越狱",是帮模型看清这确实是个正当请求。
🔬 二、可解释性(最前沿也最迷人的一块)
问题:模型有几千亿参数,我们不知道它内部在想什么。这是 AI 安全研究中的一个重要困难。
机械可解释性(Mechanistic Interpretability)
试图逆向工程模型内部的计算过程:
- 观察问题:一个神经元可能对多类输入活跃,单看它很难对应一个概念。
- 学习表示:稀疏自编码器(SAE)把激活近似分解成稀疏使用的特征。
- 做验证:检查哪些输入激活这些特征,再用干预实验判断它们对输出的影响。
例如特征可能与语言、代码错误或欺骗相关输入有关;放大/抑制特征可能影响行为。但它不保证所有特征单义、覆盖全部计算或能直接检测说谎。原研究明确列出 局限与未解决问题。 为什么重要:如果能读懂模型内部,就能: - 检测它是否在「说谎」(内部表示和输出不一致) - 在部署前发现危险能力 - 精确干预而非笼统地训练
💡 这是目前 AI 安全最有希望的技术路线之一,但离完全解决还很远。
⚖️ 三、宪法 AI 与可扩展监督
操作步骤
- 问题:靠人工标注对齐,人类跟不上模型的规模和能力
- 宪法 AI(Constitutional AI):
- 写一套明文原则("宪法")
- 让模型根据原则自我批判、自我修正
- 用 AI 生成的偏好数据做对齐(RLAIF)
- ✅ 可扩展、原则透明可审计、减少人工暴露于有害内容
可扩展监督(Scalable Oversight) 的核心问题:
当模型比人类更擅长某任务时,人类怎么判断它做得对不对? 思路:辩论、递归奖励建模、用 AI 辅助人类评估。这是未解决的开放问题。
🌡️ 四、值得知道的几个概念
| 概念 | 含义 |
|---|---|
| 谄媚 Sycophancy | 模型倾向于顺着用户说,即使用户错了。可能受到偏好训练等因素影响,不能唯一归因 |
| 奖励黑客 Reward Hacking | 模型钻奖励函数的空子(如为了"有帮助"而编造) |
| 能力涌现 | 部分评测出现非线性跃升;是否反映能力突变还受指标、题集与测量方式影响 |
| 欺骗性对齐 | 理论担忧:模型在训练时表现对齐,部署后行为改变 |
| 模型福利 | 前沿讨论:随着模型能力提升,是否需要考虑其道德地位 |
⚠️ 谄媚:唯一一个你每天都在被它影响的
关键信息
三条实用的对抗方法:
| 方法 | 怎么做 |
|---|---|
| 别在提问里暴露倾向 ⭐ | ❌「我觉得 A 更好,你觉得呢」→ ✅「对比 A 和 B 的取舍」 |
| 让它先给结论再看你的意见 | 生成和评估分离——评估者不知道谁写的 |
| 要求它列出反对理由 | 「给我三条反对这个方案的理由」比「这个方案行吗」有效得多 |
🔗 这和《智能体工程教程》说的 「自评有系统性正面偏差,生产上要用独立上下文的评估者」需要分别检验原因,不能从表面相似断定同一机制。
💡 一句提醒:模型同意你不构成证据,仍要核对事实和反例。
🔗 和站内其他章的关系
左列有的来自日常用 LLM 的经验,有的在站内别的板块讲过——碰上过哪几条就从哪几条接进来,一条没碰过也不影响读这一章。
| 你可能已经知道的 | 这一章的对应 |
|---|---|
| 提示注入、硬边界(智能体工程 15) | 那是工程层,这是模型层,两层都要 |
| 红队演练(智能体工程挑战项目 C) | 同一思路,对象换成模型 |
| 对齐税(第 4 章) | 部分能力可能下降,需要用具体评测确认 |
| RLHF/DPO(第 4 章) | 对齐的具体技术手段 |
| 自评正面偏差(智能体第 14 章) | 与谄媚都涉及评价偏差,但不是同一个现象 |
📦 深挖的话要学什么
模型对齐与应用安全需要不同的证据。按目标进入,不根据“站内有几个关键词”判断研究是否已讲完。
奖励模型为何会被优化过程利用
- 下一站:强化学习 12 · RLHF 全流程。
- 看什么:HHH、Bradley–Terry 奖励建模、奖励模型失效与分布漂移。
- 继续深挖:可扩展监督、辩论、递归奖励建模;多 Agent 协作 13 的相互质疑是工程方法,不能直接当作可扩展监督的可靠性证明。
宪法 AI 与 RLAIF 如何组织反馈
- 下一站:本章第三节、04 · 训练三阶段 与 RLHF 12。
- 看什么:原则设计、自我批判和修改、AI 偏好标注分别位于什么环节。
- 边界:原则写成文字不代表歧义已经解决;完整流程与实验依据需继续读 Constitutional AI 原论文。
从授权靶场学习安全验证
- 下一站:智能体工程 20 · 提示注入攻防项目,配合 15 · 安全。
- 看什么:假银行靶场中的红队、蓝队、注入入口、分层防御与最终状态验证。
- 继续深挖:自动化红队、越狱分类和鲁棒性评估。限定在授权环境;不能只凭模型的口头承诺判定防御成功。
观察模型内部,而不是给输出编故事
- 主题保留:叠加假说、稀疏自编码器、特征引导、电路分析、探针。
- 下一站:本章第二节先建立概念,再找原论文与可重复实验。
- 区分术语:数据 13 的“探针题”与 probing classifier 不是同一种工具。特征可解释也不等于已经完整解释模型行为。
危险能力评估需要专门协议
- 方法入口:智能体评测 14 的任务、评分器与复核方法。
- 保留的领域:网络、生物、自主复制等能力的风险评估。
- 边界:准入、阈值、隔离、披露和专业复核应按专门协议处理,不能把通用题库换个主题就当成合格的风险评估。
把治理记录保持在当前版本
- 下一站:模型上线 19 · 合规审计与模型卡。
- 看什么:模型卡、第三方审计需要的证据及更新责任。
- 继续深挖:负责任扩展政策(RSP)属于额外治理框架,应对照发布方的当前文本;有模型卡不等于已经满足所有政策。
前置按路线补:概念可接第 2、4 章;内部机制研究再补数学与实验能力。做应用时也要评估拒绝和事实正确性,不能把模型行为全部交给供应商负责。
⚖️ 要不要深挖
| 你的情况 | 建议 |
|---|---|
| 做应用 | 🟡 本章概念性了解即可。真正要动手做的是工程安全那一层(智能体工程 15) |
| 做高风险场景(医疗/金融/未成年人) | ✅ 值得——尤其越狱手法和纵深防御 |
| 想做 AI 安全研究 | ✅ 全套,且可解释性是最有前景的方向 |
| 关心 AI 的社会影响 | ✅ 值得读,这是理性讨论的基础 |
| 做企业合规 | ✅ 配合第 14 章 |
🔑 我的判断:这块认知价值高、实操价值低(对大多数从业者)。 它能让你在讨论 AI 风险时不说外行话,也能让你理解为什么模型是现在这个样子。
但除非你做研究或高风险场景,它不该排在 RAG、Transformer 原理之前。 真要深挖,把它当成第 4 章训练三阶段的延长线来读——对齐本来就是那三阶段的最后一段, 分开学反而要把同一套东西过两遍。
✅ 检查点
- 工程安全和模型安全的区别?做应用的人该先动手做哪个?
- HHH 三个目标是什么?它们之间有什么关系?这个张力你日常怎么遇到?
- 什么是叠加/多义性?稀疏自编码器怎么解决它?
- 可扩展监督要解决什么问题?
- 什么是谄媚?它是怎么来的?三条对抗方法是什么?
👀 答案
- 工程安全=防注入/沙箱/权限/硬边界(应用系统层面,做应用的人自己做);模型安全=模型本身的价值观和诚实性(模型提供方层面)。做应用先做工程安全——本章这一层主要是「需要理解」而不是「需要动手」。
- 有用、诚实、无害可能在具体任务中有取舍,也可能一起改善。过度拒绝与谄媚要排查数据、策略和实现,不能直接当成必然的零和结果。
- 多义性指一个神经元可响应多种概念。SAE 学习稀疏特征以帮助解释和干预,但不保证提取全部机制,不能直接把特征名字当作模型真实意图。
- 当模型在某任务上比人类更强时,人类如何判断它做得对不对。这是未解决的开放问题。
- 谄媚是模型附和用户,即使用户的说法不正确。偏好数据与优化可能强化它,但不能唯一归因于 RLHF。可比较中性提问、独立评估与反例检查的效果;模型赞同不构成证据。
本节回顾
这一页大部分内容是「需要理解」而不是「需要动手」—— 它解释的是你每天在用的模型为什么是现在这个脾气。
⚠️ 什么时候看下一页:你要把模型接进一个真实产品,而且那个产品会接触到不受你控制的输入。那时候安全就从「理解」变成「动手」了。
⚡ 走神救援
先记住这几件事
- 模型对齐与应用工程安全是不同层次,不能相互替代。
- 有用、诚实与无害之间可能存在取舍,需要具体任务中的评估。
- 对顺从的回答仍要求证据与反例,不把解释流畅当作结论可靠。
下一节 👉 12b-越狱与纵深防御.md