混合均衡中的概率,为什么要让对方无差异?
读后可检查:沿 2×2 原例求概率,再检查支撑集内外的最佳响应条件。
📑 本页目录(点开跳转)
12 · 混合策略
⏱ 38 分钟 | ⭐ 你掷骰子的概率,是替对手调的
🎯 一句话
当「被猜到就输」时,理性的做法是掷骰子;而你掷骰子的概率不是为了让自己舒服, 是为了让对手怎么选都一样。
上一章留了个欠账:罚球博弈里两个人轮流改最佳响应,四步转回原点,永远停不下来。 这一章把它解开,顺带给出 Nash 存在性定理保证的那个「一定存在」的东西长什么样。
🎲 一、为什么必须掷骰子
罚球博弈(matching pennies)的收益矩阵:
| 罚球者 \ 守门员 | 左 | 右 |
|---|---|---|
| 左 | −1, 1 | 1, −1 |
| 右 | 1, −1 | −1, 1 |
这个博弈的本质是「不能被猜到」。 只要你的选择是可预测的 —— 哪怕是「我永远踢左」这种 看起来很坚定的策略 —— 对手照着扑就行,你稳输。
⭐ 所以「不可预测」本身就是一种策略。 形式化之后它叫混合策略: 你不是选一个动作,而是选一个动作上的概率分布,然后按这个分布随机。
$$s_i : A_i \to [0,1],\qquad \sum_{a_i \in A_i} s_i(a_i) = 1$$
- 概率大于 0 的那些动作,合起来叫这个混合策略的支撑集(support)。
- 纯策略是混合策略的特例:支撑集只有一个动作,概率 1。
期望收益怎么算
两边都在掷骰子时,你拿到的收益是个随机变量,所以比的是期望: 把每一格的收益乘上「这一格被打出来的概率」,加起来。
$$u_i(s) = \sum_{a \in A} \Big(\prod_{j \in N} s_j(a_j)\Big)\, u_i(a)$$
举个数:罚球者 60% 左 / 40% 右,守门员 50% / 50%,罚球者的期望收益是
$$0.6{\times}0.5{\times}(-1) + 0.6{\times}0.5{\times}1 + 0.4{\times}0.5{\times}1 + 0.4{\times}0.5{\times}(-1) = 0$$
⚠️ 手算时别真的展开四项。有个省事得多的办法:先把对手的混合固定住, 算出你每个纯动作的期望收益,再按你自己的概率加权。 下一节整个套路都建在这上面。
💡 二、⭐ 无差异原理:均衡里你其实无所谓
这是这一章的心脏。先看结论:
引理(无差异原理):策略组合 $s$ 是纳什均衡,当且仅当对每个玩家 $i$, 支撑集里的所有动作期望收益完全相等,而且不小于支撑集外任何动作的期望收益。
固定对手策略 $s_{-i}$,$a_i,b_i$ 是正概率支撑内动作,$c_i$ 是支撑外动作:
$$u_i(a_i,s_{-i})=u_i(b_i,s_{-i})=v_i$$
$$u_i(c_i,s_{-i})\le v_i$$
为什么必须相等(一句话的反证)
假设你的支撑集里「左」的期望收益比「右」高。那你把押在「右」上的概率全部挪到「左」, 期望收益严格变高 —— 说明原来那个混合不是最佳响应,也就不可能是均衡的一部分。 所以:只要一个动作你还在用,它就必须和你在用的其他动作一样好。
⭐ 推论的前提要一起记:固定对手策略,而且自己的支撑内动作已经同样好。 此时只在这些动作之间重新分配概率,自己的期望收益才不变。
对手的策略一变,等收益可能就不成立。例如原罚球表中,若守门员扑左概率为 $3/4$,踢左的期望为 $-1/2$、踢右为 $1/2$。这时把自己的概率从踢右移向踢左,期望就会下降。
⚠️⚠️ 那我调概率是在调什么?—— 全章最反直觉的一句
⭐ 「玩家是替对手随机的。」(Players randomize for other players.)
行玩家的混合概率 p,是由「让列玩家无差异」这个条件解出来的; 列玩家的混合概率 q,是由「让行玩家无差异」解出来的。
本节是在求双方都混合的 2×2 均衡候选。 要让对方愿意同时使用两个动作,就用对方的收益写无差异方程,从而解出自己的概率。
这不是“自己的概率从不影响自己的收益”。改变自己的概率后,对方可能不再无差异,新的组合也未必仍是 NE;一般的最优化问题仍会用自己的收益求自己的策略。
⭐ 还有一条推论:判断一个策略组合是不是 NE 很快 —— 不用遍历所有偏离, 只要检查「每个人支撑内的动作期望是否相等、且不低于支撑外的」就够了。 这一条在下面第五节的验证步骤里会直接用上。
🧮 三、2×2 混合 NE 的手算套路
上面那句「玩家是替对手随机的」不只是一句俏皮话,它直接就是手算步骤。
设行玩家混 $(p,\,1-p)$、列玩家混 $(q,\,1-q)$。四步:
| 步 | 做什么 | 关键 |
|---|---|---|
| ① | 先用第 11 章的圈法找纯 NE | 顺手把严格劣势的动作删掉 —— 它永远不会进任何 NE 的支撑集 |
| ② | ⭐ 令列玩家对他的两个动作无差异,解出 p | 列方程时用每格第二个数(列玩家的收益) |
| ③ | ⭐ 令行玩家对他的两个动作无差异,解出 q | 列方程时用每格第一个数(行玩家的收益) |
| ④ | 回代算两人的均衡期望收益,并验证 | 见第五节的三条清单 |
⭐ 一句话记法:求谁的概率,就翻到对面的收益去列方程。 ⚠️ 拿行玩家自己的收益去解 p,是这一章唯一的、也是最普遍的错法。做完一定回头看一眼你用的是哪一列数。
例子① 罚球(matching pennies)
回到第一节那张表:
| 罚球者 \ 守门员 | 左 | 右 |
|---|---|---|
| 左 | −1, 1 | 1, −1 |
| 右 | 1, −1 | −1, 1 |
② 解 p(罚球者踢左的概率)—— 看守门员的收益,设罚球者混 $(p,1-p)$:
$$u_2(\text{扑左}) = p\cdot 1 + (1-p)\cdot(-1) = 2p-1$$ $$u_2(\text{扑右}) = p\cdot(-1) + (1-p)\cdot 1 = 1-2p$$
令两者相等:$2p-1 = 1-2p \Rightarrow 4p = 2 \Rightarrow \boxed{p = 1/2}$
③ 解 q(守门员扑左的概率)—— 看罚球者的收益,设守门员混 $(q,1-q)$:
$$u_1(\text{踢左}) = q\cdot(-1) + (1-q)\cdot 1 = 1-2q$$ $$u_1(\text{踢右}) = q\cdot 1 + (1-q)\cdot(-1) = 2q-1$$
令两者相等:$1-2q = 2q-1 \Rightarrow \boxed{q = 1/2}$
④ 回代:两人的均衡期望收益都是 0。这个博弈的唯一 NE 是 $\big((\tfrac12,\tfrac12),\,(\tfrac12,\tfrac12)\big)$ —— 第 11 章那个转不停的圈,到这里停住了。
⭐ 再念一遍那个反直觉点:罚球者的 1/2 是为了让守门员扑哪边都拿 0;守门员的 1/2 是为了让罚球者踢哪边都拿 0。 没有人在为自己调概率。
💡 一个改数字的小实验:为什么「把一个动作变好」会让你更少用它
只把 (踢左, 扑右) 那一格的罚球收益从 1 改成 3;守门员相应从 −1 改成 −3。其他三格不动:
| 罚球者 \ 守门员 | 扑左 | 扑右 |
|---|---|---|
| 踢左 | −1, 1 | 3, −3 |
| 踢右 | 1, −1 | −1, 1 |
解 $p$:守门员扑左的期望收益为 $2p-1$,扑右为 $1-4p$。令两者相等:
$$2p-1=1-4p\quad\Rightarrow\quad p=\frac13$$
解 $q$:罚球者踢左的期望收益为 $3-4q$,踢右为 $2q-1$。令两者相等:
$$3-4q=2q-1\quad\Rightarrow\quad q=\frac23$$
两边均使用内部概率,且各有两个动作,无额外支撑外动作要检查。回代后罚球者期望收益为 $1/3$,守门员为 $-1/3$。
看变化:罚球者踢左从 $1/2$ 减至 $1/3$,守门员扑左从 $1/2$ 增至 $2/3$。左路空门收益提高了,但均衡中的踢左概率反而降低。
如果同时改两格,会得到什么?
若除了上述改动,还把 (踢左, 扑左) 从 (−1,1) 改成 (0,0),则是另一张矩阵:
| 罚球者 \ 守门员 | 扑左 | 扑右 |
|---|---|---|
| 踢左 | 0, 0 | 3, −3 |
| 踢右 | 1, −1 | −1, 1 |
这时守门员无差异式为 $p-1=1-4p$,罚球者为 $3-3q=2q-1$。得到 $p=2/5$、$q=4/5$、罚球收益 $3/5$。
这一组 $2/5$、$4/5$、$3/5$ 属于“同时改两格”的实验,不能拿来回答前面的单格改动题。
这里要记住的是求解顺序:用对手的无差异方程解自己的概率,再用自己的收益表算结果。 不能仅凭某一格提高,就断言均衡中会更常用那个动作。
✂️ 四、例子② 石头剪刀布:三个动作怎么办
三个动作,方程要多一条,但套路一模一样。
| 行 \ 列 | 石头 | 剪刀 | 布 |
|---|---|---|---|
| 石头 | 0, 0 | 1, −1 | −1, 1 |
| 剪刀 | −1, 1 | 0, 0 | 1, −1 |
| 布 | 1, −1 | −1, 1 | 0, 0 |
设行玩家混 $(p_1,p_2,p_3)$(石头/剪刀/布)。令列玩家对三个动作都无差异 —— 还是只看每格第二个数:
$$u_2(\text{石头}) = 0\cdot p_1 + 1\cdot p_2 + (-1)p_3 = p_2 - p_3$$ $$u_2(\text{剪刀}) = (-1)p_1 + 0\cdot p_2 + 1\cdot p_3 = p_3 - p_1$$ $$u_2(\text{布}) = 1\cdot p_1 + (-1)p_2 + 0\cdot p_3 = p_1 - p_2$$
三个相等,加上 $p_1+p_2+p_3=1$:
- 由 $p_2-p_3 = p_1-p_2$ 得 $p_1+p_3 = 2p_2$,代入归一化:$1-p_2 = 2p_2 \Rightarrow p_2 = 1/3$
- 由 $p_3-p_1 = p_1-p_2$ 得 $p_2+p_3 = 2p_1$,同样代入:$1-p_1 = 2p_1 \Rightarrow p_1 = 1/3$
- 所以 $p_3 = 1/3$,三个式子的公共值都是 0
$$\boxed{(p_1,p_2,p_3) = (\tfrac13,\tfrac13,\tfrac13)}$$
博弈对称,列玩家同理也是 $(\tfrac13,\tfrac13,\tfrac13)$,两人的均衡收益都是 0。
⭐ 数一下方程个数:n 个动作 → n 个未知数 → 需要 n 个方程 = 对手的 n−1 个无差异等式 + 1 个归一化。2×2 是 n=2 的特例(1 个等式 + 归一化)。
⚠️ 别被「三个都相等」骗了。这里三个动作恰好完全对称,所以答案是均匀分布; 一旦矩阵不对称(比如「出石头赢了给 2 分」),答案立刻就不是 1/3 了 —— 但列方程的方法一个字都不用改。
🥊 五、例子③ 性别之争:还第 11 章的账
第 11 章说性别之争有三个 NE,前两个纯的当场圈出来了,第三个混的欠着。现在补上。
| 行 \ 列 | 拳击 | 芭蕾 |
|---|---|---|
| 拳击 | 2, 1 | 0, 0 |
| 芭蕾 | 0, 0 | 1, 2 |
解 p(行玩家选拳击的概率)—— 看列玩家的收益:
$$u_2(\text{拳击}) = 1\cdot p + 0\cdot(1-p) = p,\qquad u_2(\text{芭蕾}) = 0\cdot p + 2(1-p) = 2-2p$$
$$p = 2-2p \Rightarrow \boxed{p = 2/3}$$
解 q(列玩家选拳击的概率)—— 看行玩家的收益:
$$u_1(\text{拳击}) = 2q,\qquad u_1(\text{芭蕾}) = 1-q,\qquad 2q = 1-q \Rightarrow \boxed{q = 1/3}$$
均衡收益:行玩家 $2q = 2/3$,列玩家 $p = 2/3$。
💀 这个均衡糟糕得值得单独记住。 把四格概率摊开:
| 结果 | 概率 | 收益 |
|---|---|---|
| (拳击, 拳击) | $\tfrac23\cdot\tfrac13 = \tfrac29$ | 2, 1 |
| (拳击, 芭蕾) | $\tfrac23\cdot\tfrac23 = \tfrac49$ | 0, 0 |
| (芭蕾, 拳击) | $\tfrac13\cdot\tfrac13 = \tfrac19$ | 0, 0 |
| (芭蕾, 芭蕾) | $\tfrac13\cdot\tfrac23 = \tfrac29$ | 1, 2 |
有 $\tfrac49+\tfrac19 = \tfrac59$ 的时间两个人根本没碰上面,各拿 0。 所以两人的期望收益只有 2/3,比两个纯 NE(拿 2 或拿 1)都差。
⭐ 这就是第 11 章那句「NE 是稳定性判据,不是对『会发生什么』的预测」最刺眼的版本: 这个组合完全稳定 —— 谁单方面改概率收益都不变 —— 但它 5/9 的时间在制造双输。
🔍 六、支撑集:怎么找,怎么验
前面三个例子都先假定了全支撑。真做题时支撑不是白送的,得猜。
验证清单(三条全过 = 是 NE)
对每个玩家 i:
- 支撑内的动作,期望收益全相等,记这个公共值为 $v_i$
- 支撑外的动作,期望收益 $\le v_i$(可以相等,不能更高)
- 概率非负、和为 1;所猜支撑内严格为正,支撑外为零
⭐ 这三条来自第二节的无差异原理,不需要遍历所有可能的偏离。
找的办法:支撑枚举
猜一个支撑组合 → 按四步套路列线性方程 → 解 → 拿上面三条验证,不过关就换下一个。
- ⚠️ 概率跑到 $[0,1]$ 外面 → 这个支撑不成立,换;通常意味着某个动作根本不该被用。
- ⚠️ 解出某个动作的概率为 0 → 删去该动作,按实际支撑重新检查;剩余动作仍可能在混合。只有支撑最终只剩一个动作、概率为 1,才是该玩家的纯策略。
- 方程奇异或没有唯一解:两边支撑大小可以不同,退化博弈还可能有连续多解;一次普通线性求解失败不能当作没有均衡的证据。
- ⚠️ 最容易漏第 2 条:3×3 里猜了两个动作的支撑,第三个动作必须不严格更好;不检查就交卷是最常见的丢分点。
两人的行动数分别为 $m,n$ 时,非空支撑组合有 $(2^m-1)(2^n-1)$ 个。这说明直接枚举的候选数随行动数指数增长,不单独构成所有算法都很难的证明。
第 11 章介绍的 PPAD-完全,是针对一般二人有理数收益矩阵的另一项复杂度结论,不能只凭这个枚举式推出。 ⭐ 好在纸笔尺度够用:2×2 只有 $3\times3=9$ 种支撑组合(4 纯×纯、4 纯×混、1 混×混), 先删严格劣势动作还能再砍一批。
🔗 这一章连到哪里
| 去哪 | 为什么 |
|---|---|
| 13-零和与极大极小.html ⭐ | 罚球、石头剪刀布都是二人零和例子。有限矩阵模型可用线性规划求解,所有 NE 给同一收益值;策略本身仍可能不唯一 |
| 11-纳什均衡.html | 回去看纯 NE 的圈法(第三节第 ① 步要用)、Nash 存在性定理和 PPAD-完全的出处 |
| 08-不确定性与期望效用.html | 本章从头到尾在对收益取期望。凭什么能这么加权平均?那一章的 vNM 定理是许可证 |
| 14-扩展式博弈.html | 若罚球改成先行动且后手完全看见行动,可逆向归纳找到纯策略 SPNE;一般扩展式博弈仍可能需要随机化,不能仅看有没有先后顺序 |
| 强化学习基础 07 · 探索与利用 | 那边的策略也在故意随机(ε-greedy、熵正则),但理由相反:那是为了探索没试过的东西,这里是为了不被对手猜到 |
✅ 检查点
- 什么是混合策略?纯策略和它是什么关系?
- 无差异原理说了什么?为什么支撑集里的动作必须收益相等?
- 「玩家是替对手随机的」——具体到手算步骤,这句话让你把哪个人的收益写进方程?
- 用四步套路解罚球博弈,写出 p、q 和两人的均衡收益。
- 把 (踢左, 扑右) 从 1 分改成 3 分之后,罚球者踢左的概率往哪边走?为什么会是这个方向?
- 石头剪刀布里,如果行玩家混 $(p_1,p_2,p_3)$,列玩家出「石头」的期望收益是多少?三个动作各混 1/3 是怎么解出来的?
- 性别之争的混合 NE 是什么?两人各拿多少?为什么说它「比两个纯 NE 都差」?
- 验证一个混合组合是 NE,要查哪三条?最容易漏的是哪一条?
- 支撑枚举为什么不是高效算法?2×2 要试几种支撑?
👀 答案
- 混合策略是动作集上的一个概率分布 $s_i: A_i \to [0,1]$,$\sum_{a_i} s_i(a_i)=1$;概率大于 0 的动作合起来叫支撑集。纯策略是它的特例 —— 支撑集只有一个动作,概率 1。
- 策略组合是 NE 当且仅当每个玩家支撑内所有动作期望收益相等,且不小于支撑外任何动作。反证一句话:若支撑里「左」比「右」高,把押在「右」上的概率全挪到「左」,期望严格变高 → 原来那个混合不是最佳响应 → 不可能是 NE 的一部分。
- 求双方都混合的候选时,写进对手的收益:解行玩家的 p 用每格第二个数,解列玩家的 q 用每格第一个数。自己的期望不变只在“对手固定、自己的支撑内动作已无差异”时成立;改概率后未必还是均衡。
- 令守门员无差异,得到 $p=1/2$;令罚球者无差异,得到 $q=1/2$。两人的均衡期望收益都是 0,这是罚球博弈的唯一 NE。它是均衡方程的解,不是第 11 章纯动作最佳响应循环必然到达的终点;是否收敛需要分析具体学习规则。
- 只改指定一格时,踢左从 $1/2$ 降到 $1/3$,扑左从 $1/2$ 升到 $2/3$,罚球期望收益从 0 变成 $1/3$。$2/5$、$4/5$、$3/5$ 对应同时改了两格的另一实验,不能拿来回答本题。
- $u_2(\text{石头}) = 0\cdot p_1 + 1\cdot p_2 + (-1)p_3 = p_2-p_3$。三式($p_2-p_3$、$p_3-p_1$、$p_1-p_2$)两两相等配上 $p_1+p_2+p_3=1$:由 $p_1+p_3=2p_2$ 得 $p_2=1/3$,同理 $p_1=1/3$,于是 $p_3=1/3$,公共值都是 0。方程个数 = 对手的 n−1 个无差异等式 + 1 个归一化。
- 行拳击 2/3、列拳击 1/3,两人期望收益都是 2/3。差的原因:$\tfrac49+\tfrac19=\tfrac59$ 的时间两人没碰上各拿 0,而两个纯 NE 给的是 (2,1) 和 (1,2)。💀「NE 是稳定性判据不是预测」最刺眼的例子 —— 完全稳定,却 5/9 的时间在制造双输。
- ① 支撑内期望全相等(记为 $v_i$)② 支撑外期望 $\le v_i$ ③ 合法概率且与实际支撑一致。3×3 里猜两个动作仍要查第三个动作;某概率为零就缩小支撑,剩下两个动作仍可能混合,不自动变纯。
- $(2^m-1)(2^n-1)$ 个非空支撑组合,直接枚举候选数是指数级。2×2 有 9 种(4 纯×纯、4 纯×混、1 混×混);一般求解的 PPAD-完全结论另需证明,不能只由枚举数量推出。
本节回顾
先记住四件事
- 混合策略是概率分布;支撑只含正概率动作。
- 均衡要查支撑内相等、支撑外不更高,以及合法概率。
- 求双方混合的候选,用对手收益解自己的概率;别省略无差异前提。
- 某格收益提高,不保证该动作更常用;NE 也不保证结果好。
下一节 👉 13-零和与极大极小.md ⭐
下一页区分“策略可能多种”和“均衡收益值唯一”,并解释有限二人零和博弈为什么能用线性规划求解。一般和博弈没有同一组保证。