给 payoff matrix ,零和博弈的 equilibrium 是一个 convex—concave saddle point。经典 multiplicative weights 每轮维护两组 exponential weights;若显式归一化/采样,成本随 线性。量子算法为缓慢变化的 Gibbs 分布设计动态采样数据结构,把维数依赖降到平方根,同时输出可直接使用的稀疏经典混合策略。
本词条要回答三个层层递进的问题:第一,什么是零和博弈的近似均衡,为什么它可以归结为 regret 最小化;第二,经典 multiplicative weights update(MWU)为什么需要 轮、每轮 ;第三,量子算法在哪里、以什么方式把 的维数依赖开根号,以及为什么最终输出仍然是一份”经典”的策略。
读者需要的前置知识:Grover 搜索与振幅放大、振幅估计的基本结论(相位估计一章),以及”从概率分布采样”与”制备对应量子态”的区别。不需要博弈论背景,相关概念都会现场定义。
1. 问题背景:零和博弈与 Nash 均衡
两人零和博弈 (two-player zero-sum game) 是最简单的非合作博弈模型。Row player 有 个纯策略(编号 ),column player 有 个纯策略;当 row 出 、column 出 时,payoff matrix 的元素 表示 column 付给 row 的数量——row 的收益是 ,column 的收益是 ,两者之和恒为零,故称”零和”。
允许随机化时,双方各选一个混合策略 (mixed strategy),即单纯形上的概率分布
此时期望 payoff 为双线性型 。Row 想把它最大化,column 想把它最小化。
一对策略 称为 Nash 均衡 (Nash equilibrium),如果任何一方单独偏离都不能获益:
零和情形在博弈论中地位特殊:Von Neumann 于 1928 年证明的 minimax 定理保证均衡一定存在,且求均衡等价于解一对对偶线性规划。计算上,经典精确解法(单纯形法、内点法)的时间随 多项式增长——对”小规模”博弈这已经够用。真正的瓶颈出现在 巨大(例如指数个纯策略、或矩阵只能按元素查询)且只要求 精度时:能否让运行时间对维数的依赖远低于线性?这正是量子算法切入的位置。
本词条依据的两篇文献给出两个世代的结果:van Apeldoorn 与 Gilyén 首先给出维数依赖为 的量子算法(精度依赖 );Bouland、Getachew、Jin、Sidford 与 Tian 用改进的 dynamic Gibbs sampling 把精度依赖改进到 (外加一项与维数无关的 )。下面先把经典部分讲透,再看量子部分。
2. Minimax 定理与 saddle gap
Row player 选 最大化 payoff;column player 选 最小化。Von Neumann minimax 定理断言:双方”先后手”不影响结果,
这个共同的值 称为博弈的值 (value of the game)。我们不证明这个定理(它是线性规划对偶的推论),但要把它用成一个等价说法: 是 Nash 均衡,当且仅当它是函数 的 saddle point——对 是极大、对 是极小。注意 对 线性(故 concave)、对 线性(故 convex),所以零和均衡是一个 convex—concave saddle point 问题,这是后文一切算法的几何框架。
近似均衡的误差用 saddle gap 度量:
这里 是 row 出纯策略 对抗 的期望 payoff, 同理。两个量的含义是: 是 row 对 的 best response 能拿到的 payoff; 是 column 对 的 best response 能把 payoff 压到的水平。差值越大,说明双方偏离现状的动机越强。
Lemma 1. 对任意 ,有 ,并且 当且仅当 满足
即任何单边 best response 最多改善 。这样的 称为 -approximate Nash equilibrium。
证明。先注意 被夹在 gap 的两个端点之间:
因为 是概率权重,加权平均不超过最大值;同理
于是 。进一步,把 gap 按定义拆成两项:
由上面的夹逼,两个方括号各自非负。两个非负数之和不超过 ,当且仅当每一项都不超过 ——这正是题述两个不等式。Q.E.D.
这个引理把”近似均衡”转化成一个可以逐项估计的数值条件:要验证 是近似均衡,只需分别估计 与 两个量。第 9 节会看到,量子验证正是围绕这两个量展开的。
3. Multiplicative weights:更新规则与直觉
怎么找到近似均衡?思路是让双方玩一个假想的重复博弈,各自用”根据历史表现调整权重”的规则出招,然后取平均策略。本节定义这个规则,下一节证明它有效。
设 (一般的有界矩阵总可以归一化到这个范围,这只影响常数因子)。Row player 维护一组权重 ,初始 (对所有纯策略一视同仁)。第 轮,column 实际出了纯策略 之后,row 按指数规则更新:表现好(payoff 大)的策略权重乘上更大的因子,
其中 是学习率,稍后选取。归一化后即得第 轮的混合策略
Column player 的目标相反(最小化 payoff),所以指数取负号:
每一轮双方从自己的分布中采样 、,然后查询 loss/payoff 信息(row 需要一列 ,column 需要一行 )完成更新。
直觉上, 是一头”软的最大值”:累计收益最高的策略会得到指数放大的权重,但 有限时其余策略仍保留正概率,避免被单次坏运气永久淘汰。这类指数权重规则在在线学习中称为 Hedge / multiplicative weights update,其分析范式是”势能函数 + telescoping”,下一节完整给出。
4. Regret 界的完整推导
Regret 衡量”实际拿到的平均收益”与”事后诸葛亮的最优纯策略”之间的差距。记 row 在第 轮的 payoff 向量为 (即矩阵的第 列),row 出 的期望收益是 。下面证明 MWU 的 regret 上界。
Theorem 2. 设 、。MWU 保证
证明。用 partition function(归一化常数)作势能函数:
第一步,把 用 控制。由更新规则与 的定义,
对指数项用初等不等式 (对 成立;我们的 满足 ),
等号处只用了 与 的定义。再用 得 ,于是
第二个不等号是另一条初等不等式 (对一切实数 )。代回得单步势能估计
第二步,telescoping。把上式对 累乘,指数相加:
这里用了初始条件 (所有权重初始为 1)。
第三步,从下方控制 。设 是事后最优纯策略。因为和式中每一项非负,只保留 一项不会变大:
其中等号是把更新规则从 起连乘 次的结果。
第四步,合并上下界并取对数。由第二步与第三步,
两边除以 (,不等号方向不变),整理即得
Q.E.D.
有两点值得停下来看。其一,证明里唯一的”损失”来自两处放缩: 引入了 项(二阶项),只保留 引入了 项(对 m 个策略的”无知税”)。Regret 界的形状 完全是这两笔账的平衡。其二,上面的推导假设 row 每轮看到的是确定的 payoff 向量 ;在采样版本(只看到所查询的元素)中,每一步的更新是无偏估计,需要用 Hoeffding/Azuma 型集中不等式控制随机涨落——多出的因子只有对数级,被吸收进 记号。因此采样版结论形式相同:
其中 是 column 实际出招的经验分布(用 改写最大值项)。Column 一方对称:
参数平衡。 现在的任务是选 使误差项 不超过 。先对固定的 优化 :求导
此时两项相等(,这正是”参数平衡”的含义:让两个误差来源同阶),最小值
要求 ,解得
于是经验策略 满足什么?下一节把两个 regret 界拼起来。
5. 从 regret 到近似均衡
把 row 与 column 的 regret 界相加。记两边共有的”平均对局收益”为
(采样版中用集中不等式把 、 与 的差控制在同一误差量级内)。Row 的界给出
column 的界给出
两式相减, 恰好抵消:
由 Lemma 1, 是 -approximate Nash equilibrium。这就是 MWU 解零和博弈的完整逻辑链:
注意一个微妙之处:输出的是 (各轮实际出招的经验分布),而不是 (各轮分布的平均)。前者是稀疏的——至多 个不同纯策略出现过——这一点对量子算法的输出形式至关重要,见第 8 节。
6. 经典实现的维数瓶颈
MWU 每轮要做什么?看 row 一方。定义能量向量
相邻两轮的 只差一列的贡献:,更新全部 个分量要 ;更本质的障碍是从 采样需要 partition function ,显式重算是 次指数运算与求和。Column 一方对称地需要 。于是每轮 ,乘上轮数 ,经典总时间(在按元素查询 的 oracle 模型下,配合适当的数据结构/随机化)为
瓶颈的结构值得看清楚:每轮真正”新”的信息只有一列(或一行)共 次查询的量级,但采样步骤强迫我们 touch 全部 个权重。维数线性的开销不来自信息量,而来自显式表示与归一化整个分布。这正暗示了量子加速的切入点:量子态天然把整个分布编码在振幅里,“归一化”是免费的,“采样”是一次测量——只要能高效制备对应量子态。
7. 量子动态 Gibbs 采样
目标量子态是 Gibbs 分布的振幅编码(平方根振幅,使测量概率正比于 ):
制备它之后测量计算基,就得到一个服从 的经典样本 ——正是 MWU 每轮需要的东西。
朴素制备为什么不够。 标准做法是:从均匀叠加出发,把 算进辅助寄存器,受控旋转把振幅压出因子 ,再对辅助位 postselect。问题在成功率:受控旋转要求振幅不超过 1,必须统一除以最大权重 ,于是成功率正比于 ——即平均权重与最大权重之比。权重分散时这个比值可以小到 ,配合振幅放大也只是把每轮成本压到 量级,而且每轮都要从零制备一遍。这正是要改进的对象。
动态思想:权重变化很慢。 关键观察是相邻两轮的 Gibbs 分布几乎相同:
由于 是小量,每个权重每轮只改变约 。如果已经有 (或其采样器),“修正”出 应该比从头制备便宜得多——这与经典情形形成对照:经典的瓶颈恰恰是每轮无法复用上一轮的结果去采样。
Dynamic Gibbs sampling 数据结构把这一直觉落实为四个机制:
- 分层记录权重范围与重元素。 维护权重量级的分层估计,识别哪些 的权重显著偏大(heavy hitters)。这样在修正时可以逐块控制权重比的上界,而不必对全部 个分量做最坏情况假设。
- 复用上一轮的 sampler/reference state。 不销毁上一轮的制备结果,把它当作 rejection sampling 的提议分布(proposal): 与 逐点只差 因子,是天然的好的 proposal。
- Rejection sampling + 振幅放大修正权重比。 以与 成比例的概率接受样本;因为比值被限制在 ,接受概率是 量级,几乎不浪费。振幅放大把”重复直到接受”的开销从 降到 (这正是 Grover/振幅放大的标准二次加速),而这里的 接近 1,开销近常数。
- 用低方差 mean/amplitude estimation 更新归一化。 新 partition function 满足
即一个关于 的有界随机变量的期望。用振幅估计以相对精度 估计它,开销是 (相位估计给出的标准精度反比),而非经典 Monte Carlo 的 ;并且是对旧分布采样,不用每轮从零重算 项的和。
综合起来,一次”从 个权重中采样”的维数开销从朴素方案的线性(最坏情形)降到约 ——粗略地说,所有”以成功概率 从 个元素中取样/求和”的子任务都被振幅放大开了根号,而动态复用保证了 不退化(这是”dynamic”相对朴素 Gibbs 制备的本质改进;完整的数据结构不变量分析见原文)。另一方对称地得到 。与此同时必须控制两笔误差账: 轮误差的累计,以及反复复用导致的 state disturbance(量子态被测量/修正操作逐渐污染)。处理方式是给每轮分配 的误差预算,使 ;每轮精度要求因此提高,这是下一节复杂度中额外 幂次的来源。
8. 总复杂度与输出形式
改进算法(Bouland 等)的运行时间为
逐项解读每个因子的来源(以下是量级层面的账,精确幂次依赖数据结构细节):
- :第 7 节的维数开销——每轮 row 侧 、column 侧 的动态 Gibbs 采样,合并写成 。这是相对经典 的核心收益:维数依赖被开根号。
- :轮数与单轮精度的乘积。 轮(第 4 节);每轮误差预算 使累计误差可控,而精度要求的提高给维数相关部分再添 量级开销,合计 。
- :与维数无关的高精度归一化/期望估计。partition function 比值需要估到相对精度 ,振幅估计的 直接给出 。这一项不含 ,在矩阵很大而精度适中的区域不重要,但精度极高时会成为主项。
与早期量子算法(van Apeldoorn–Gilyén)的 比较:维数依赖相同,改进在精度依赖从 降到 ,代价是引入与维数无关的 项。
与经典方法的 crossover。 量子何时确实更快?比较主项:
(第一步两边同除 ;第二步两边平方再整理。)再核对 项:它不超过经典复杂度的条件同样是 。所以在
这一广泛区域(包括所有”精度不随矩阵规模缩小”的固定 ),量子算法相对经典有 polynomial speedup;反之当精度要求极高( 比维数倒数还小)时,额外的 幂次可能主导,加速消失。这个区域划分与两条复杂度曲线的相对位置完全一致,没有任何保留条款被藏起来。
输出形式:稀疏经典策略。 算法的输出不是振幅编码的量子态 ,而是采样历史 给出的经验分布
的非零分量至多 个(只有实际被采样到过的纯策略出现),每个非零分量是 形的有理数(出现次数除以总轮数)。存储这份分布只需记录 个”指标 + 频数”对,长度为
(每个指标用 或 位命名)。这份输出可以直接使用:从 采样等价于从记录的多重集合里均匀取一个;计算 形 payoff 也只需在稀疏支持上求和。相反,若输出是 维量子态,把它读出来需要对 维系统做 quantum state tomography,开销会重新引入维数的线性(甚至更差)依赖,把前面的加速全部抵消。输出模型与算法内部表示同样重要,这是本词条与许多”量子态即答案”的算法(如 HHL)的关键区别。
9. 验证与 payoff oracle
算法需要一个访问 payoff matrix 的量子 oracle:
即按指标查询矩阵元并写入加法寄存器。 是实数, 实际指 fixed-point 编码下的模加;寄存器必须给足定点精度,使舍入误差不污染 量级的结论(精度位数只带来对数级开销,被 吸收)。
得到候选 后,如何验证 saddle gap?由 Lemma 1,只需估计
两个量结构对称,看第一个。由于 至多 稀疏,每个 是至多 项的和,可在稀疏支持上计算;再对 个指标做 quantum maximum finding(Dürr–Høyer 型,Grover 的变体),以 次查询/估计找到最大值,而非经典线性扫描 。验证侧的失败概率同样要控制:全算法共 轮、每轮若干次估计,每次子程序需放大成功概率到 (重复 次取中位数/多数表决),使 union bound 下总失败率仍为 。这笔账也只贡献对数因子。
适用范围必须说清楚。 以上全部结果只针对 two-player zero-sum(更一般地,bilinear saddle point)问题。对一般和博弈,Nash 均衡是 PPAD 型的 fixed point 问题,既无 minimax 结构,也不能由 regret 最小化直接逼近——两方各自跑 MWU 的经验平均一般不收敛到 Nash 均衡。这篇算法的结论不能推广过去。
10. 小例子:Matching Pennies
用最小的非平凡博弈把第 2 节的量全部算一遍。Matching Pennies 的 payoff matrix 为
(Row 猜”是否同色”:同色 row 赢 1,异色输 1。)设混合策略
先算双方的纯策略 payoff 向量:
期望 payoff 为
均衡。 若 ,则 :无论 column 怎么出,payoff 恒为 0,column 无从改善;对称地 使 row 无从改善。所以
Gap 的通式。 由第 2 节定义,
因此
检验: 时 gap ,与均衡一致;任何 或 都严格为正,与”均衡唯一”一致。
与原文断言核对。 取 (即 )、 均匀():row 的 best response 拿到 ,而 给出 ,故
这直接给出策略估计误差与 的关系:对手策略偏离均衡 (以分量计)本身就贡献 的 gap。反过来,要求 gap 等价于要求双方策略都落在均衡的 邻域内——对小博弈”输出近似均衡”与”逼近均衡点”是一回事,对大博弈前者才是算法实际保证的东西。
11. 小结与习题
- 零和 equilibrium 等价于 convex—concave minimax saddle point;saddle gap 把”近似均衡”变成两个可估计量的差(Lemma 1)。
- MWU 的势能分析给出 regret 界 ;平衡两项得 、 轮后,经验出招分布的 gap 为 。
- 经典瓶颈不在信息量而在每轮 的显式归一化/采样;quantum dynamic Gibbs sampling 利用相邻权重只变 的事实,复用上一轮 sampler 并以 rejection sampling + amplitude amplification 修正,把维数依赖降到 。
- 总时间 ;在 区域相对经典多项式加速。
- 输出是支持至多 、长度 的稀疏经典分布,避免 tomography;结果不推广到一般和 Nash(PPAD 型问题)。
习题。
- (定义核查)补全 Lemma 1 的证明中”加权平均不超过最大值”这一步的细节,并举例说明对一般的 ,gap 可以严格大于双方实际偏离获益中的任何一项(提示:让另一方策略离最优也很远)。
- (推导)从单步估计 出发,不翻回第 4 节,独立重推 Theorem 2;并验证 确实是 的极小点(检查二阶导数)。
- (计算)对 Matching Pennies 验证:当双方都用 时 ;再构造一个 零和博弈使其均衡不是均匀分布,并计算它的 gap 通式。
- (复杂度分析)设 。分别画出经典 、早期量子 与改进量子 在 上的相对大小(忽略对数因子),找出改进算法占优的区间,并与 的解析阈值对照。
- (输出模型)解释为什么经验分布 的支持大小至多 、描述长度 ;如果算法改为输出 (分布的平均),这两个结论还成立吗?为什么算法偏偏选择输出经验分布?
- (概念延伸)两人一般和博弈中,双方各自运行 no-regret 动态。用囚徒困境或性别之争(battle of the sexes)说明:minimax 值不再有意义,且经验平均策略不必接近任何 Nash 均衡。由此说明第 9 节”不能推广”的保留条款是本质的而非技术性的。
参考文献
- Zoo 编号 485:Bouland、Getachew、Jin、Sidford 与 Tian, Quantum Speedups for Zero-Sum Games via Improved Dynamic Gibbs Sampling.
- Zoo 编号 486:van Apeldoorn 与 Gilyén, Quantum Algorithms for Zero-Sum Games.
参考资料
- 本词条整理自《量子计算算法教程》原文:ch14-optimization-numerics/nash-equilibria
- 内容遵循 CC BY-NC-SA 4.0 许可协议