09 · 推理范式:先找瓶颈,再决定怎样求解
不必一次记住六个缩写。先看任务缺资料、缺计算,还是缺可靠反馈;再选一项方法做比较。
🎯 一句话
推理范式是在安排求解过程:可以分步计算、多次尝试、调用工具、利用反馈或搜索不同方案。过程更长不等于结果更正确。
先看这三个问题:
- 不知道资料里的事实:先检索或调用有权限的工具。
- 信息已有,但运算复杂:比较分步求解、计算工具或更多推理投入。
- 已有答案,但不知道对不对:补可核验的证据、测试或评估。
它们可以同时存在,不是三选一。
🧠 底层原理:为什么“让它先想”有时有效
对自回归语言模型,多生成中间步骤通常意味着继续执行模型计算;写进上下文的中间结果,也可以供后续生成引用。这是“草稿纸”比喻有用的地方。
但有三个边界:
- token 不是一个字。 一个数字或词可能对应多个 token。
- 每个 token 的计算量不必完全相同。 上下文长度、缓存和模型结构都会影响计算;请求还有处理输入的成本。
- 更多计算只是资源投入。 如果过程本身错了,继续写也可能重复或放大错误。
“测试时扩展”指在回答阶段增加或重新安排计算,例如多次采样、搜索、验证。是否有效,要比较任务正确率与实际成本,不能只数推理文本的长度。
🧮 一个能算出来的直觉
手算示例,不是某个模型的实测输出:37 × 48。
| 步骤 | 结果 | 下一步怎样使用 |
|---|---|---|
| 把 48 拆成 40 + 8 | 37×(40+8) | 分别计算两个乘积 |
| 37×40 | 1480 | 保存第一个部分结果 |
| 37×8 | 296 | 保存第二个部分结果 |
| 两部分相加 | 1480+296=1776 | 得到原乘法的结果 |
看 1480 与 296:它们是可以核验、可以复用的中间结果。也可以用计算器直接核验乘法。
即使某个分词器把一段中间过程分成 40 个 token,也不能说请求总计算量正好变成 40 倍:输入成本需要计入,单步开销也不一定相同。
CoT 的研究在特定任务与模型上观察到分步示例带来的改善,但它不是“只要写出过程就一定更准”的保证。CoT 原论文
⚠️ 一个重要的边界:推理链不等于真实内部过程
生成的解释可以帮助人检查某一步,却不一定完整、忠实地反映模型为何得出答案。
研究曾通过修改提示中的偏置信息影响模型答案,而模型给出的解释并未说明这种影响。因此,流畅、自洽的说明不能替代外部证据与测试。解释忠实度研究
需要审计时,记录实际输入、资料来源、工具调用、测试结果与版本。不能只保存一段模型自述,然后把它当成可信的决策记录。
🪜 六种范式:各自增加了什么
① CoT 思维链(Chain-of-Thought)
增加的是中间步骤。 用分步示范或要求说明可检查的步骤,帮助模型组织多步任务。原始 few-shot CoT 使用带中间步骤的示例;“Let's think step by step”是相关的零样本提示方式,不是全部定义。
- 适用观察:任务需要多个中间结果,直接回答容易漏步。
- 代价:更多生成内容与延迟,可能传播中间错误。
- 验证:核对每个可计算步骤和最终结果,不把“写得长”当成指标。
已有推理能力的模型是否还需要额外提示,取决于具体模型与任务,不机械叠加同一句口令。
② Self-Consistency 自洽性
增加的是多个尝试,并按最终答案汇总。 例如对同一题采样 5 次,先把答案格式统一,再看哪个答案出现最多。原论文
| 虚构投票示例 | 5 次答案 | 多数结果 |
|---|---|---|
| 同一道乘法题 | 1776、1776、1676、1776、1776 | 1776 |
这张表演示投票,不代表一次真实模型实验。若多次尝试共享同一种错误,多数仍可能错。
需要能比较或归并最终答案,也需要有差异的采样。N 次相近长度的请求通常增加总计算与调用成本,但缓存、并行和输出长度会影响实际账单与延迟,不能把二者都写成固定 N 倍。
③ ReAct(推理 + 行动)
增加的是与外部环境交互。 求解过程交替安排动作、读取返回结果,再决定下一步。它是 Agent 工作流的一种重要方法,不是所有 Agent 的唯一结构。ReAct 原论文
以下是虚构销售数据的动作记录示意,不是可执行程序,也没有真的访问数据库:
- 明确问题:比较 2026 年 Q1 与 Q2 的销售额。需要已有权限的数据源。
- Action:调用查询工具,取得这两个季度相同统计口径的数据。
- Observation:假设返回 Q1 为 10 万元,Q2 为 8 万元,并附查询范围。
- 计算并核对:减少 2 万元,相对 Q1 下降 20%。仅凭这两个数,不能判断下降原因。
- 若还要解释原因,先确认能获得哪些证据;资料不足就说明限制。达到目标、预算或权限边界时停止。
本站智能体工程教程的入门循环可帮助理解“行动—观察—再行动”。关键是动作确实执行、结果确实返回,而不是模型写了一句“我查过了”。
④ Reflexion 自我反思
增加的是利用反馈改进下一次尝试。 原方法会把反思文字保留在记忆中,用于后续决策;不是只让模型随口批评自己,也不是通过这一轮对话直接更新模型权重。Reflexion 原论文
可按“尝试 → 得到反馈 → 记录教训 → 再尝试”理解。反馈可以来自测试、环境或评价;反馈的质量会限制改进效果。
例如代码没通过测试,应保留哪个输入失败、预期与实际差在哪里。独立评估者能降低某些自评偏差,但也可能判断错误,仍需校准;不能宣称换个评估者就可靠。
⑤ ToT 思维树(Tree-of-Thought)
增加的是候选分支的探索、评价与回退。 一条路看起来走不通时,可以退回先前状态,试另一条路。ToT 原论文
它与“完整回答采样五次再投票”不同:ToT 可以在中间状态分叉、筛选或回退。适合有可评价中间状态的规划、谜题等实验;分支数、深度和评估调用都可能很昂贵。
这里先认识机制,不把“使用少”或“实现复杂”当作它不值得研究的证据。
⑥ 长思考 / 推理模型
增加的是训练获得的求解能力,以及使用时分配的推理预算。 它不只是一句“请多想想”,但也不能用单一训练配方解释所有推理模型。
例如 DeepSeek-R1 的研究展示了强化学习如何激励可验证任务上的推理行为。研究报告 模型也可能结合示范数据、蒸馏及其他训练阶段。
更大的推理预算可能改善部分数学、代码或多步任务,也可能不改善,甚至让模型绕远。内部计算、可见解释和接口返回的推理 token 不是完全等同的观测量。
训练方向继续看04 训练三阶段;GRPO、可验证奖励等可从下面的深入入口补。
⚖️ 关键权衡:什么时候值得让它“多想”
先用最简单的可验证基线,再针对失败增加能力。 不按任务标签一刀切。
| 任务 | 起点 | 何时增加投入 |
|---|---|---|
| 事实查询 | 找到可靠资料并核对引用 | 资料需要多步比较或交叉验证 |
| 格式转换、分类 | 简单基线加验证规则 | 存在歧义、长依赖或复杂约束 |
| 数学、逻辑、多步任务 | 分步结果或计算工具 | 错误显示需要更复杂的求解与验证 |
| 代码调试、架构设计 | 可复现错误、测试与约束 | 多个方案需要比较或迭代 |
| 创意写作 | 看目标风格与读者反馈 | 结构、逻辑或约束需要检查 |
| 错误代价高的任务 | 强化证据、验证、权限与必要的人类复核 | 更多采样不能替代这些保障 |
信息不足时,单纯延长自述不能获得新事实;信息已经齐全时,计算器、执行器或验证工具仍然可能帮助求解。工具和推理可以互补,不是互斥的两条路。
📊 方法的成本与验证速查
| 方法 | 主要增加的成本 | 应比较什么 |
|---|---|---|
| 直接回答,作为基线 | 一次请求的输入与输出 | 正确率、格式通过率、延迟 |
| CoT | 中间步骤的生成 | 可核验步骤与最终结果是否更好 |
| Self-Consistency | 多次采样与答案汇总 | 多数答案是否更可靠,错误是否相关 |
| ReAct | 模型轮次、工具调用与等待 | 工具结果真实可靠,任务有没有完成 |
| Reflexion | 反馈、反思记录和再次尝试 | 同类错误是否减少,有无引入新错误 |
| ToT | 分支探索与状态评价 | 搜索是否找到更好结果,评价是否可信 |
| 长思考模型 | 所选模型、推理预算与生成 | 增量质量是否值得增量成本 |
这些方法没有统一的成本倍数。记录实际 token、调用次数、工具费用与耗时;按固定任务集画成本—效果对照,再设置预算和停止条件。
🔗 和站内其他章的关系
| 当前想补什么 | 去哪里 |
|---|---|
| 工具与 Agent 循环 | 智能体工程入门的第 1 章 |
| 生成与评估分离 | 智能体工程的第 12 章 |
| 模型选择与 effort | 智能体工程 02 |
| 生成式推荐中的测试时扩展 | 推荐算法目录的第 14 章 |
| 按任务路由 | 智能体工程的第 6 章 |
📦 深挖的话要学什么
按层列出入口;“本页提到”不等于“已经讲透”。保留原有知识清单,但不把全部术语压进同一长段。
提示与采样
- 已在本页建立入口:CoT、Self-Consistency、ToT。
- 采样的温度、top-p 等:06b 解码策略。
- GoT、Least-to-Most、Plan-and-Solve:站内尚未系统展开,深入时查相应原论文。不能仅凭“技术变化快”判断它们有没有价值。
训练与奖励
强化学习基础 12:RLHF 全流程提供 GRPO 的深入入口;14:RL 在推荐与智能体里涉及 RLVR、过程奖励模型 PRM、结果奖励、拒绝采样与专家迭代。
读时分别检查:奖励是否能验证结果、是否评价中间步骤、采样是否产生有区分度的反馈。组内奖励相同时,标准化后的优势信号可能消失;不能把它无条件说成“整个损失都没有梯度”。
测试时搜索
强化学习基础 13:DPO 与免 RL 对齐是 Best-of-N、拒绝采样与蒸馏的相关入口。
Best-of-N、DPO、PPO 解决的问题和代价不同,不存在所有任务统一的升级顺序。MCTS、验证器引导搜索和算力—效果曲线,站内尚未系统讲解,需要进一步查论文与实验。
评估
先区分最终答案正确与中间过程正确。一个对的答案可能经过错误步骤;过程看似合理也可能导向错答案。
智能体工程 14:评测 Evals与11 评测体系帮助理解基准与私有集。读 SWE-bench 等结果时核对版本、配置与样本;AIME、GPQA 等具体题集与过程评价仍需查其原始资料。
成本与路由
智能体工程 02:模型与 effort解释模型规模与推理投入是不同选择。
可以比较大/小模型、生成/把关的组合,测输入长度与输出预算;“大模型反而便宜”只能是某些任务下的实验结果,不是固定规律。
⚖️ 要不要深挖
| 你的目标 | 下一步 |
|---|---|
| 先做应用 | 选一个真实失败任务,比较基线与一项改法 |
| 提升复杂任务效果 | 固定问题集,比较多次采样、工具、反馈与路由 |
| 训练推理模型 | 补训练与奖励,不把读懂本页当成能力验收 |
| 研究求解方法 | 选择明确问题,读原论文与复现实验 |
已有工程材料不意味着这个方向“内容量不足以独立成套”。可以从本站提示词与 Agent 教程接着做,也可以按上面的研究入口深入。
✅ 检查点
- 写出中间步骤可能提供什么帮助?是否等于固定倍数的计算?
- 为什么不能把“过程更长”直接当作“答案更准”?
- 生成的解释能否替代真实证据与执行记录?
- ReAct 与 Agent 是什么关系?
- Reflexion 比“自己批评自己”多了什么?
- 推理模型的能力、推理预算与可见解释是一回事吗?
- 信息、计算与验证三种瓶颈能否同时存在?
- 选择方法时,应该比较哪些结果和代价?
展开核对
- 提供额外计算与可引用的中间结果;分词、输入和单步开销不同,不能直接算固定倍数。
- 中间过程也会出错;应比较可核验结果与实际成本。
- 不能;解释可能不忠实,应保留来源、真实动作、测试与版本。
- ReAct 是交替安排推理与行动的方法,Agent 还可以采用其他结构。
- 根据任务反馈形成反思记录,并用于后续尝试;效果依赖反馈与使用方式。
- 不是;能力来自训练,预算是使用时的资源选择,可见解释又只是输出的一部分。
- 可以。检索、计算器、验证器和推理可组合,不需二选一。
- 正确率或任务通过率、失败类型、token、调用、工具成本、延迟和停止条件。
本节回顾
先能判断:我的失败需要新资料、更多求解,还是更可靠的验证? 选一个小实验验证,不必把六种方法全部打开。
先记住这几件事
- 更多步骤与采样可能有帮助,但不保证更正确。
- 生成的解释不等于真实内部过程,结果要独立核验。
- 给每次尝试设反馈、预算与停止条件。
下一节 👉 10-多模态.md