附录 A · 速查

📌 Ctrl+F 搜。不要通读。

🔑 一张表：每个算法在解什么

📐 核心公式

回报与价值

$$G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \cdots$$ $$V^\pi(s) = \mathbb{E}_\pi[G_t \mid s_t = s],\qquad Q^\pi(s,a) = \mathbb{E}_\pi[G_t\mid s_t=s, a_t=a]$$

💡 V 是"在这个状态有多好"，Q 是"在这个状态做这个动作有多好"

⭐ 贝尔曼方程（整个领域的地基）

$$V^\pi(s) = \sum_a \pi(a|s)\sum_{s'} P(s'|s,a)\big[r + \gamma V^\pi(s')\big]$$

贝尔曼最优方程：

$$V^*(s) = \max_a \sum_{s'} P(s'|s,a)\big[r+\gamma V^*(s')\big]$$

💡 人话：这个状态的价值 = 眼前的奖励 + 下一个状态的价值（打个折）。 后面所有算法都是在用不同办法解这个方程。

TD 更新

$$V(s) \leftarrow V(s) + \alpha\underbrace{\big[r + \gamma V(s') - V(s)\big]}_{\text{TD 误差 }\delta}$$

Q-learning vs SARSA（一个 max 的区别）

$$\text{Q-learning: } Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma\underbrace{\max_{a'}Q(s',a')}_{\text{最优动作}}-Q(s,a)]$$

$$\text{SARSA: } Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma\underbrace{Q(s',a')}_{\text{实际会走的}}-Q(s,a)]$$

💡 就差一个 max —— 但这决定了 off-policy 还是 on-policy

策略梯度

$$\nabla J(\theta) = \mathbb{E}\big[\nabla\log\pi_\theta(a|s)\cdot A(s,a)\big]$$

💡 好动作提高概率、坏动作降低概率，幅度按"有多好"

GAE

$$A^{GAE(\lambda)}_t = \sum_{l\ge0}(\gamma\lambda)^l\delta_{t+l}$$

💡 λ=0 → 单步 TD（偏差大）；λ=1 → 蒙特卡洛（方差大）；常用 0.95

⭐ PPO 裁剪目标

$$L = \mathbb{E}\Big[\min\big(r_tA_t,\ \text{clip}(r_t,1-\epsilon,1+\epsilon)A_t\big)\Big],\quad r_t=\frac{\pi_\theta}{\pi_{old}}$$

💡 迈大步没有额外奖励 —— 所以不会迈大步

奖励模型 / DPO

$$L_{RM} = -\log\sigma\big(r_{win}-r_{lose}\big)$$

$$L_{DPO} = -\log\sigma\Big(\beta\log\tfrac{\pi_\theta(y_w)}{\pi_{ref}(y_w)} - \beta\log\tfrac{\pi_\theta(y_l)}{\pi_{ref}(y_l)}\Big)$$

💡 DPO = 把 RM 的公式直接套在策略的对数比上

🎛️ 超参速查

⚠️ 十个最容易搞混的地方

🩺 故障诊断表

📖 术语对照

🔗 跨教程速查

👉 回到首页