🏠 总目录📚 本教程 09 · 推理范式 ← →

大模型全景导论 / 09

多走一条推理路径,增加了什么证据与成本?

将CoT、自洽、搜索与工具等范式按新增动作对照,保留概率直觉与内部过程不可见的边界。

  1. 单条展开观察一条可见的解题步骤。
  2. 多条候选再比较或聚合多次尝试。
  3. 工具反馈把调用与返回结果作为外部证据。
三种增加可见步骤的方向,具体方法和成本见原文。这不是模型内部因果图,也不表示多走路径必然更正确。
📑 本页目录(点开跳转)

09 · 推理范式:先找瓶颈,再决定怎样求解

不必一次记住六个缩写。先看任务缺资料、缺计算,还是缺可靠反馈;再选一项方法做比较。

🎯 一句话

推理范式是在安排求解过程:可以分步计算、多次尝试、调用工具、利用反馈或搜索不同方案。过程更长不等于结果更正确。

先看这三个问题:

  • 不知道资料里的事实:先检索或调用有权限的工具。
  • 信息已有,但运算复杂:比较分步求解、计算工具或更多推理投入。
  • 已有答案,但不知道对不对:补可核验的证据、测试或评估。

它们可以同时存在,不是三选一。

🧠 底层原理:为什么“让它先想”有时有效

对自回归语言模型,多生成中间步骤通常意味着继续执行模型计算;写进上下文的中间结果,也可以供后续生成引用。这是“草稿纸”比喻有用的地方。

但有三个边界:

  1. token 不是一个字。 一个数字或词可能对应多个 token。
  2. 每个 token 的计算量不必完全相同。 上下文长度、缓存和模型结构都会影响计算;请求还有处理输入的成本。
  3. 更多计算只是资源投入。 如果过程本身错了,继续写也可能重复或放大错误。

“测试时扩展”指在回答阶段增加或重新安排计算,例如多次采样、搜索、验证。是否有效,要比较任务正确率与实际成本,不能只数推理文本的长度。

🧮 一个能算出来的直觉

手算示例,不是某个模型的实测输出:37 × 48。

步骤 结果 下一步怎样使用
把 48 拆成 40 + 8 37×(40+8) 分别计算两个乘积
37×40 1480 保存第一个部分结果
37×8 296 保存第二个部分结果
两部分相加 1480+296=1776 得到原乘法的结果

看 1480 与 296:它们是可以核验、可以复用的中间结果。也可以用计算器直接核验乘法。

即使某个分词器把一段中间过程分成 40 个 token,也不能说请求总计算量正好变成 40 倍:输入成本需要计入,单步开销也不一定相同。

CoT 的研究在特定任务与模型上观察到分步示例带来的改善,但它不是“只要写出过程就一定更准”的保证。CoT 原论文

⚠️ 一个重要的边界:推理链不等于真实内部过程

生成的解释可以帮助人检查某一步,却不一定完整、忠实地反映模型为何得出答案。

研究曾通过修改提示中的偏置信息影响模型答案,而模型给出的解释并未说明这种影响。因此,流畅、自洽的说明不能替代外部证据与测试。解释忠实度研究

需要审计时,记录实际输入、资料来源、工具调用、测试结果与版本。不能只保存一段模型自述,然后把它当成可信的决策记录。

🪜 六种范式:各自增加了什么

① CoT 思维链(Chain-of-Thought)

增加的是中间步骤。 用分步示范或要求说明可检查的步骤,帮助模型组织多步任务。原始 few-shot CoT 使用带中间步骤的示例;“Let's think step by step”是相关的零样本提示方式,不是全部定义。

  • 适用观察:任务需要多个中间结果,直接回答容易漏步。
  • 代价:更多生成内容与延迟,可能传播中间错误。
  • 验证:核对每个可计算步骤和最终结果,不把“写得长”当成指标。

已有推理能力的模型是否还需要额外提示,取决于具体模型与任务,不机械叠加同一句口令。

② Self-Consistency 自洽性

增加的是多个尝试,并按最终答案汇总。 例如对同一题采样 5 次,先把答案格式统一,再看哪个答案出现最多。原论文

虚构投票示例 5 次答案 多数结果
同一道乘法题 1776、1776、1676、1776、1776 1776

这张表演示投票,不代表一次真实模型实验。若多次尝试共享同一种错误,多数仍可能错。

需要能比较或归并最终答案,也需要有差异的采样。N 次相近长度的请求通常增加总计算与调用成本,但缓存、并行和输出长度会影响实际账单与延迟,不能把二者都写成固定 N 倍。

③ ReAct(推理 + 行动)

增加的是与外部环境交互。 求解过程交替安排动作、读取返回结果,再决定下一步。它是 Agent 工作流的一种重要方法,不是所有 Agent 的唯一结构。ReAct 原论文

以下是虚构销售数据的动作记录示意,不是可执行程序,也没有真的访问数据库:

  1. 明确问题:比较 2026 年 Q1 与 Q2 的销售额。需要已有权限的数据源。
  2. Action:调用查询工具,取得这两个季度相同统计口径的数据。
  3. Observation:假设返回 Q1 为 10 万元,Q2 为 8 万元,并附查询范围。
  4. 计算并核对:减少 2 万元,相对 Q1 下降 20%。仅凭这两个数,不能判断下降原因。
  5. 若还要解释原因,先确认能获得哪些证据;资料不足就说明限制。达到目标、预算或权限边界时停止。

本站智能体工程教程的入门循环可帮助理解“行动—观察—再行动”。关键是动作确实执行、结果确实返回,而不是模型写了一句“我查过了”。

④ Reflexion 自我反思

增加的是利用反馈改进下一次尝试。 原方法会把反思文字保留在记忆中,用于后续决策;不是只让模型随口批评自己,也不是通过这一轮对话直接更新模型权重。Reflexion 原论文

可按“尝试 → 得到反馈 → 记录教训 → 再尝试”理解。反馈可以来自测试、环境或评价;反馈的质量会限制改进效果。

例如代码没通过测试,应保留哪个输入失败、预期与实际差在哪里。独立评估者能降低某些自评偏差,但也可能判断错误,仍需校准;不能宣称换个评估者就可靠。

⑤ ToT 思维树(Tree-of-Thought)

增加的是候选分支的探索、评价与回退。 一条路看起来走不通时,可以退回先前状态,试另一条路。ToT 原论文

它与“完整回答采样五次再投票”不同:ToT 可以在中间状态分叉、筛选或回退。适合有可评价中间状态的规划、谜题等实验;分支数、深度和评估调用都可能很昂贵。

这里先认识机制,不把“使用少”或“实现复杂”当作它不值得研究的证据。

⑥ 长思考 / 推理模型

增加的是训练获得的求解能力,以及使用时分配的推理预算。 它不只是一句“请多想想”,但也不能用单一训练配方解释所有推理模型。

例如 DeepSeek-R1 的研究展示了强化学习如何激励可验证任务上的推理行为。研究报告 模型也可能结合示范数据、蒸馏及其他训练阶段。

更大的推理预算可能改善部分数学、代码或多步任务,也可能不改善,甚至让模型绕远。内部计算、可见解释和接口返回的推理 token 不是完全等同的观测量。

训练方向继续看04 训练三阶段;GRPO、可验证奖励等可从下面的深入入口补。

⚖️ 关键权衡:什么时候值得让它“多想”

先用最简单的可验证基线,再针对失败增加能力。 不按任务标签一刀切。

任务 起点 何时增加投入
事实查询 找到可靠资料并核对引用 资料需要多步比较或交叉验证
格式转换、分类 简单基线加验证规则 存在歧义、长依赖或复杂约束
数学、逻辑、多步任务 分步结果或计算工具 错误显示需要更复杂的求解与验证
代码调试、架构设计 可复现错误、测试与约束 多个方案需要比较或迭代
创意写作 看目标风格与读者反馈 结构、逻辑或约束需要检查
错误代价高的任务 强化证据、验证、权限与必要的人类复核 更多采样不能替代这些保障

信息不足时,单纯延长自述不能获得新事实;信息已经齐全时,计算器、执行器或验证工具仍然可能帮助求解。工具和推理可以互补,不是互斥的两条路。

📊 方法的成本与验证速查

方法 主要增加的成本 应比较什么
直接回答,作为基线 一次请求的输入与输出 正确率、格式通过率、延迟
CoT 中间步骤的生成 可核验步骤与最终结果是否更好
Self-Consistency 多次采样与答案汇总 多数答案是否更可靠,错误是否相关
ReAct 模型轮次、工具调用与等待 工具结果真实可靠,任务有没有完成
Reflexion 反馈、反思记录和再次尝试 同类错误是否减少,有无引入新错误
ToT 分支探索与状态评价 搜索是否找到更好结果,评价是否可信
长思考模型 所选模型、推理预算与生成 增量质量是否值得增量成本

这些方法没有统一的成本倍数。记录实际 token、调用次数、工具费用与耗时;按固定任务集画成本—效果对照,再设置预算和停止条件。

🔗 和站内其他章的关系

当前想补什么 去哪里
工具与 Agent 循环 智能体工程入门的第 1 章
生成与评估分离 智能体工程的第 12 章
模型选择与 effort 智能体工程 02
生成式推荐中的测试时扩展 推荐算法目录的第 14 章
按任务路由 智能体工程的第 6 章

📦 深挖的话要学什么

按层列出入口;“本页提到”不等于“已经讲透”。保留原有知识清单,但不把全部术语压进同一长段。

提示与采样

  • 已在本页建立入口:CoT、Self-Consistency、ToT。
  • 采样的温度、top-p 等:06b 解码策略。
  • GoT、Least-to-Most、Plan-and-Solve:站内尚未系统展开,深入时查相应原论文。不能仅凭“技术变化快”判断它们有没有价值。

训练与奖励

强化学习基础 12:RLHF 全流程提供 GRPO 的深入入口;14:RL 在推荐与智能体里涉及 RLVR、过程奖励模型 PRM、结果奖励、拒绝采样与专家迭代。

读时分别检查:奖励是否能验证结果、是否评价中间步骤、采样是否产生有区分度的反馈。组内奖励相同时,标准化后的优势信号可能消失;不能把它无条件说成“整个损失都没有梯度”。

强化学习基础 13:DPO 与免 RL 对齐是 Best-of-N、拒绝采样与蒸馏的相关入口。

Best-of-N、DPO、PPO 解决的问题和代价不同,不存在所有任务统一的升级顺序。MCTS、验证器引导搜索和算力—效果曲线,站内尚未系统讲解,需要进一步查论文与实验。

评估

先区分最终答案正确与中间过程正确。一个对的答案可能经过错误步骤;过程看似合理也可能导向错答案。

智能体工程 14:评测 Evals与11 评测体系帮助理解基准与私有集。读 SWE-bench 等结果时核对版本、配置与样本;AIME、GPQA 等具体题集与过程评价仍需查其原始资料。

成本与路由

智能体工程 02:模型与 effort解释模型规模与推理投入是不同选择。

可以比较大/小模型、生成/把关的组合,测输入长度与输出预算;“大模型反而便宜”只能是某些任务下的实验结果,不是固定规律。

⚖️ 要不要深挖

你的目标 下一步
先做应用 选一个真实失败任务,比较基线与一项改法
提升复杂任务效果 固定问题集,比较多次采样、工具、反馈与路由
训练推理模型 补训练与奖励,不把读懂本页当成能力验收
研究求解方法 选择明确问题,读原论文与复现实验

已有工程材料不意味着这个方向“内容量不足以独立成套”。可以从本站提示词与 Agent 教程接着做,也可以按上面的研究入口深入。

✅ 检查点

  1. 写出中间步骤可能提供什么帮助?是否等于固定倍数的计算?
  2. 为什么不能把“过程更长”直接当作“答案更准”?
  3. 生成的解释能否替代真实证据与执行记录?
  4. ReAct 与 Agent 是什么关系?
  5. Reflexion 比“自己批评自己”多了什么?
  6. 推理模型的能力、推理预算与可见解释是一回事吗?
  7. 信息、计算与验证三种瓶颈能否同时存在?
  8. 选择方法时,应该比较哪些结果和代价?
展开核对
  1. 提供额外计算与可引用的中间结果;分词、输入和单步开销不同,不能直接算固定倍数。
  2. 中间过程也会出错;应比较可核验结果与实际成本。
  3. 不能;解释可能不忠实,应保留来源、真实动作、测试与版本。
  4. ReAct 是交替安排推理与行动的方法,Agent 还可以采用其他结构。
  5. 根据任务反馈形成反思记录,并用于后续尝试;效果依赖反馈与使用方式。
  6. 不是;能力来自训练,预算是使用时的资源选择,可见解释又只是输出的一部分。
  7. 可以。检索、计算器、验证器和推理可组合,不需二选一。
  8. 正确率或任务通过率、失败类型、token、调用、工具成本、延迟和停止条件。

本节回顾

先能判断:我的失败需要新资料、更多求解,还是更可靠的验证? 选一个小实验验证,不必把六种方法全部打开。

先记住这几件事

  • 更多步骤与采样可能有帮助,但不保证更正确。
  • 生成的解释不等于真实内部过程,结果要独立核验。
  • 给每次尝试设反馈、预算与停止条件。

下一节 👉 10-多模态.md

打卡记录保存在你的浏览器里,首页能看到总进度