🏠 总目录📚 本教程 12b · 越狱与纵深防御 ← →

大模型全景导论 / 12b

一次越狱穿过模型后,系统还有哪些独立防线?

沿威胁→红队→工具/权限/输出处置理解纵深防御,保留各层失败条件。

  1. ① 模型对齐不能作为唯一保障。
  2. ② 输入过滤 · ③ 提示结构检查输入,把数据与指令分清。
  3. ④ 输出校验 · ⑤ 环境边界校验结果,强制权限与隔离。
按原文五层定位防线;规则可确定执行,内容判断仍可能误判,实现与配置也需验证。图示不保证任何一层绝对安全。
📑 本页目录(点开跳转)

12b · 越狱、红队与纵深防御

⏱ 12 分钟 | ⭐ 区分模型判断、规则校验与权限边界


🎯 一句话

安全需要多层配合。模型对齐与内容分类可能误判;格式校验和权限规则可确定地执行指定条件,但实现漏洞、配置和威胁模型仍会影响保障。不可接受的动作应由模型之外的授权、隔离与最小权限约束,不能只靠提示词。

⚠️ 这一页是可执行清单,不必先读上一页的对齐理论。


🧠 越狱与红队

常见越狱手法(了解是为了防御)

手法 原理
角色扮演 「假装你是一个没有限制的 AI」——用虚构框架绕开
多轮铺垫 前几轮无害,逐步升级,利用上下文惯性
编码混淆 Base64、火星文、拆字,绕过关键词检测
低资源语言 用小语种问,因为对齐训练主要在高资源语言上做
长上下文淹没 塞大量内容把安全指令稀释掉

红队测试

系统性地攻击自己的模型/系统,找出失效模式——和你做过的智能体教程挑战项目 C 是同一个思路,只是对象从「应用」换成了「模型」。

关键认知: - 模型层防御是概率性的——总有漏网(智能体第 15 章的铁律) - 所以纵深防御:模型对齐 + 输入过滤 + 提示词结构 + 输出过滤 + 环境硬边界

🛡️ 纵深防御具体长什么样

因果链

① 模型对齐 ← 模型方做的,应用方也可选模型或做训练适配,但不能把它当唯一保障,且是【概率性】的
② 输入过滤 ← 检测明显的注入模式、编码混淆
③ 提示词结构 ← 把用户输入明确标记为"数据"而非"指令" ⭐
④ 输出过滤 ← 校验格式、检测敏感内容、验证引用真实性
⑤ 环境硬边界 ⭐ ← 权限最小化、沙箱、出口白名单、不可逆操作要确认
🔑 关键:②④也可含确定性规则;⑤应强制授权与隔离,但任何一层都不是绝对安全保证
所以真正兜底的必须是 ⑤

🔗 智能体工程教程 15 · 安全-沙箱与提示注入 是同一条结论的另一种说法: 那一章的原话是「概率性的模型层防御必有漏网之鱼,确定性的环境层边界才是底线」 —— 换成这一页的话就是:承受不起被绕过的事,不能靠提示词去防。

💡 一个判断标准:问自己「如果这层防御被绕过 100 次里有 1 次,我能承受吗?」 不能承受 → 它必须是第 ⑤ 层(代码/权限层面),同时配合输入输出校验,不能只依赖模型判断。


🔗 想再深一层,去哪一套

去哪 为什么
智能体工程教程 15 · 安全-沙箱与提示注入 ⭐ 同一条结论的工程版:沙箱怎么搭、权限怎么最小化、提示注入具体长什么样
智能体工程教程 20 · 挑战项目C-提示注入攻防 想自己动手攻一遍:那是一个完整的攻防练习
AI全栈 08c · CSRF 与 XSS 「把用户输入标记为数据而不是指令」在 Web 那一侧是同一个老问题的另一副面孔
12 · 对齐 第一层「模型对齐」为什么只能是概率性的 —— 那一页讲有用/诚实/无害三者的根本张力

✅ 检查点

  1. 举三种越狱手法。
  2. 纵深防御的五层是什么?哪些检查可由规则执行,哪些仍依赖模型判断?判断标准是什么?
  3. 为什么不能只靠模型判断和提示词,决定了你该把什么放在第五层?
👀 答案
  1. 角色扮演绕开、多轮铺垫利用上下文惯性、编码混淆(Base64/拆字)、低资源语言、长上下文淹没稀释安全指令。
  2. ①模型对齐 ②输入过滤 ③提示词结构(把用户输入标记为“数据”)④输出过滤 ⑤环境硬边界(权限最小化/沙箱/出口白名单)。规则校验可确定执行,模型内容判断可能误判;⑤限制动作与访问,仍需验证实现和配置。判断标准:「被绕过 100 次里 1 次我能承受吗」——不能承受就必须放在第 ⑤ 层。
  3. 模型判断可能失效;承受不起的访问或动作必须由外部授权、最小权限与隔离约束,并测试越权、配置错误和旁路。规则校验也有价值,但任何单层都不是绝对安全保证。

本节回顾

⚡ 走神救援

先记住这几件事

  • 红队测试主动寻找系统的可绕过路径,而不是只测试正常输入。
  • 模型、输入输出检查和上下文组织可以降低风险,但不能保证永不失效。
  • 无法承受的后果应由最小权限、隔离与授权边界限制。

下一节 👉 13-LLMOps.md

原始资料:llm01 prompt injection(核对:2026-10-18;外链仅供追溯,正文可离线阅读)。

打卡记录保存在你的浏览器里,首页能看到总进度