Chapter 9 - Policy Gradient Methods#

1.1 表格型策略#

若有 9 个状态，每个状态有 5 个动作，Table 9.1 的策略表示可转换为：

表格中的每一行是给定状态后的动作概率分布，每行概率之和为 $1$。

1.2 参数化策略#

本章将策略写成：

教材也使用 $\pi_\theta(a\mid s)$、$\pi_\theta(a,s)$ 或 $\pi(a,s,\theta)$ 等等价写法。

图解：

• 图 9.2(a)：输入状态 $s$ 和动作 $a$，输出一个动作概率 $\pi(a\mid s,\theta)$。
• 图 9.2(b)：只输入状态 $s$，一次输出全部动作概率。
• 两种结构表达同一策略，区别只是函数接口和网络输出方式。

1.3 从表格到函数后，三个问题发生变化#

函数表示的优势是可应对更大的状态或动作空间，并利用共享参数进行泛化；相应代价是策略只能在参数化函数族内搜索，而且优化目标必须压缩为标量。

[!note] 补充理解 “最大化每个状态价值”给出了逐状态的偏序，而梯度法需要一个标量目标。引入 $J(\theta)$ 的实质，是先说明哪些状态更重要，再把整张价值图压缩为一个可优化的数。

2.1 Metric 1：平均状态价值#

给每个状态一个非负权重 $d(s)$，且 $\sum_{s\in\mathcal S}d(s)=1$。平均状态价值（average state value）定义为：

状态分布有两种选择。

2.2 平均状态价值的轨迹表达#

对折扣回报，教材给出常见指标：

由全期望公式：

因此，“期望折扣累计奖励”就是按初始状态分布加权的平均状态价值。

2.3 Metric 2：平均奖励#

平均一步奖励（average one-step reward），简称平均奖励（average reward），定义为：

其中，给定状态后的期望即时奖励为：

并且：

它的轨迹表达是长期时间平均：

在满足教材所用稳态条件时：

向量形式为：

2.4 Box 9.1：式 (9.5) 的证明#

证明分两步。

2.5 Table 9.2：指标的等价表达#

三类标量指标是：

• $\bar v_\pi^0$：用与策略无关的 $d_0$ 加权；
• $\bar v_\pi$：用稳态分布 $d_\pi$ 加权；
• $\bar r_\pi$：稳态下的平均一步奖励。

它们都是 $\pi$ 的函数，而 $\pi$ 又由 $\theta$ 参数化，所以都可以作为 $J(\theta)$ 进行梯度优化。

3.1 从求和式到期望式#

按期望定义，式 (9.8) 可写成：

对数导数恒等式为：

因而：

代入式 (9.10)，内层求和正好成为对 $A\sim\pi(S,\theta)$ 的期望，从而得到式 (9.9)。这一步把无法直接枚举的真实梯度转化为可采样形式。

3.2 Softmax 策略#

为了使 $\ln\pi(a\mid s,\theta)$ 对所有状态-动作对都有效，需要 $\pi(a\mid s,\theta)>0$。教材采用 softmax：

$h(s,a,\theta)$ 是在状态 $s$ 选择动作 $a$ 的偏好（preference）。Softmax 保证：

策略因此是随机且具有探索性的；它不直接返回唯一动作，而是返回采样动作所依据的概率分布。神经网络实现时，可输入 $s$，用输出层 softmax 同时产生所有动作概率。

4.1 Lemma 9.1：$\bar v_\pi$ 与 $\bar r_\pi$ 等价#

[!theorem] Lemma 9.1 - 折扣情形下两个指标的关系

证明从 Bellman 方程开始：

左乘 $d_\pi^T$，利用 $d_\pi^TP_\pi=d_\pi^T$：

移项即得式 (9.13)。因此在折扣情形下，最大化其中一个也会最大化另一个。

4.2 Lemma 9.2：单个状态价值的梯度#

[!theorem] Lemma 9.2 - $\nabla_\theta v_\pi(s)$

这里：

是从 $s$ 出发、经过任意步数到达 $s'$ 的折扣总转移权重。

4.3 Box 9.2：Lemma 9.2 的证明#

对 $v_\pi(s)=\sum_a\pi(a\mid s,\theta)q_\pi(s,a)$ 求导：

动作价值满足：

环境奖励和转移模型不依赖 $\theta$，所以：

令：

则：

因为每个 $\nabla_\theta v_\pi(s)$ 是 $m$ 维向量，堆叠后使用 Kronecker product：

解该线性方程：

取对应状态 $s$ 的分块：

最后使用 Neumann series：

便得到式 (9.14) 的概率解释。

[!tip] 推导的核心思想 对策略求导后，$\nabla_\theta v_\pi$ 会再次出现在下一状态价值中。把递归关系写成线性方程，再用 $(I-\gamma P_\pi)^{-1}$ 汇总所有未来传播路径，就能消除递归。

4.4 Theorem 9.2：$\bar v_\pi^0$ 的严格梯度#

当 $d_0$ 与策略无关时：

其中 $S\sim\rho_\pi$、$A\sim\pi(S,\theta)$，且：

4.5 Box 9.3：Theorem 9.2 的证明#

因为 $d_0$ 不依赖 $\theta$：

代入 Lemma 9.2，交换 $s,s'$ 的求和次序：

再用式 (9.11) 和期望定义得到定理结论。

[!info] 推论：$\rho_\pi$ 更像折扣访问权重 按式 (9.19) 和教材对 $\Pr_\pi$ 的定义可推出 $\sum_s\rho_\pi(s)=1/(1-\gamma)$。因此它不是通常归一化为 1 的概率分布，而是未归一化的 discounted occupancy weights。教材仍使用 $S\sim\rho_\pi$ 和 expectation 的记号，未另行讨论归一化；本文保留原式，不擅自加入缺失的归一化因子。

4.6 Theorem 9.3：$\bar r_\pi$ 与 $\bar v_\pi$ 的近似梯度#

折扣情形下：

其中 $S\sim d_\pi$、$A\sim\pi(S,\theta)$。该近似在 $\gamma$ 更接近 $1$ 时更准确。

4.7 Box 9.4：近似从哪里产生#

因为 $d_\pi$ 也依赖策略：

第二项代入式 (9.17)：

由稳态关系可验证：

所以第二项带有 $1/(1-\gamma)$。教材在 $\gamma\to1$ 时把它视为主导项，并忽略式 (9.20) 中含 $\nabla_\theta d_\pi$ 的第一项，从而得到 Theorem 9.3 的近似。教材明确指出，这要求被忽略的第一项在 $\gamma\to1$ 时不发散。

[!warning] 易错点 $\bar r_\pi=(1-\gamma)\bar v_\pi$ 是严格关系，因此两边的梯度关系也是严格的；近似发生在用稳态分布加权的 score-function 表达去替代完整梯度时，而不是发生在 Lemma 9.1 本身。

5.1 重新定义状态价值和动作价值#

教材指出，这种 $v_\pi$ 在文献中也称 differential reward 或 bias。

它满足 Bellman-like equation：

矩阵形式称为 Poisson equation：

5.2 Theorem 9.4：Poisson 方程的解#

定义：

则 $v_\pi^*$ 是 Poisson 方程的一个解，而且任意解都可写成：

所以无折扣差分价值只确定到一个加性常数。

5.3 Box 9.5：Theorem 9.4 的证明结构#

5.4 Lemma 9.3：矩阵逆的级数表达#

矩阵 $I_n-P_\pi+\mathbf 1_nd_\pi^T$ 可逆，且：

关键恒等式是：

它可由归纳法证明。又因为 $P_\pi^k\to\mathbf 1_nd_\pi^T$：

故该矩阵谱半径小于 $1$，Neumann series 收敛，矩阵可逆。

[!warning] 教材对参考文献的更正 教材明确指出参考文献 [66] 中把逆矩阵写成 $\sum_{k=0}^{\infty}(P_\pi^k-\mathbf 1_nd_\pi^T)$ 是不准确的，因为该和式乘 $\mathbf 1_n$ 为零，因而奇异。Lemma 9.3 的正确表达额外保留了 $I_n$，等价于从 $k=1$ 开始求和再加 $I_n$。

5.5 为什么平均奖励唯一而差分价值不唯一#

由 Poisson 方程：

若 $v_\pi=v_\pi^*+c\mathbf 1_n$，则：

未定常数被消掉，所以 $\bar r_\pi$ 唯一；但 $v_\pi$ 和 $\bar v_\pi$ 在未增加归一化约束时不唯一。因此教材只研究无折扣情形下 $\bar r_\pi$ 的梯度。

5.6 Theorem 9.5：平均奖励的严格梯度#

无折扣情形下：

其中 $S\sim d_\pi$、$A\sim\pi(S,\theta)$。与 Theorem 9.3 不同，这里是严格等式。

5.7 Box 9.6：Theorem 9.5 的证明#

再次从乘积求导开始：

无折扣动作价值满足：

所以：

代回式 (9.29)，并使用 $\sum_a\pi(a\mid s,\theta)=1$：

令 $u(s)=\sum_a\nabla_\theta\pi(a\mid s,\theta)q_\pi(s,a)$，堆叠成向量后：

整理并左乘 $d_\pi^T\otimes I_m$。因为：

含 $\nabla_\theta v_\pi$ 的两项相互抵消，得到：

也就是式 (9.28)。

7.1 从真实梯度到随机梯度#

真实梯度上升为：

期望未知时，用样本 $(s_t,a_t)$ 以及动作价值估计 $q_t(s_t,a_t)$ 替代：

当 $q_t$ 用完整回合的 Monte Carlo return 估计时，该算法称为 REINFORCE 或 Monte Carlo policy gradient。

7.2 更新的数学解释#

使用对数导数恒等式：

定义：

则：

当步长足够小时，对 $\pi(a_t\mid s_t,\theta_{t+1})$ 作一阶 Taylor 展开：

因此：

• 若 $\beta_t\ge0$，所选动作概率增大；
• 若 $\beta_t<0$，所选动作概率减小；
• $\lvert\beta_t\rvert$ 越大，局部改变越强。

教材还从 $\beta_t=q_t/\pi$ 解释探索与利用：

• $q_t$ 较大时，提高高价值动作概率，体现 exploitation；
• 在 $q_t>0$ 时，原概率较小会使 $\beta_t$ 较大，从而更强地提高低概率动作，体现一定程度的 exploration。

7.3 Algorithm 9.1：Policy Gradient by Monte Carlo#

1
对每个回合：
2
    按当前策略 π(θ) 生成完整回合
3
        {s0, a0, r1, ..., sT-1, aT-1, rT}
4

5
    对 t = 0, 1, ..., T-1：
6
        q_t(st, at) <- Σ_{k=t+1}^{T} γ^(k-t-1) r_k
7
        θ <- θ + α grad_θ ln π(at | st, θ) q_t(st, at)

7.4 怎样采样 $S$ 和 $A$#

理论期望要求：

• $S$ 服从 $\eta$，即 $d_\pi$ 或式 (9.19) 的 $\rho_\pi$；
• $A$ 服从当前策略 $\pi(A\mid S,\theta)$。

因此基本策略梯度是 on-policy。实践中的 Algorithm 9.1 先按当前策略生成整条回合，再复用回合中的每个样本多次更新参数。教材指出，这提高了样本利用率，但并不严格遵循每一步都从理想长期分布重新独立采样的方式。

[!note] 补充理解 REINFORCE 的价值估计来自完整回报，因此无需价值网络，但必须等回合结束，而且 Monte Carlo 回报通常方差较大。下一章 Actor-Critic 将引入 critic，用学习到的价值估计替代完整回报。这一联系由教材在总结中指出；有关方差降低的具体技术不在本章展开。

Q1：策略梯度方法的基本思想是什么？#

定义合适的标量指标，推导其梯度，再用梯度上升优化策略参数。最关键的理论结果是 Theorem 9.1。

Q2：最复杂的部分是什么？#

不是梯度上升本身，而是对不同指标以及折扣、无折扣情形分别推导梯度。Theorem 9.1 统一了这些结果的外观。

Q3：可以使用哪些指标？#

教材介绍 $\bar v_\pi$、$\bar v_\pi^0$ 和 $\bar r_\pi$。它们都能导出相似的策略梯度。文献中尤其常见式 (9.1) 的期望折扣回报和式 (9.4) 的长期平均奖励。

Q4：策略梯度中为什么有自然对数？#

因为：

它把对概率的梯度改写成策略分布下的期望，使真实梯度可以用随机样本近似。

Q5：为什么还要研究无折扣情形？#

平均奖励 $\bar r_\pi$ 对折扣和无折扣情形都有效。折扣情形的稳态 score-function 表达在教材中是近似，而无折扣平均奖励梯度的 Theorem 9.5 是严格等式。

Q6：式 (9.32) 在数学上做了什么？#

它沿 $\nabla_\theta\pi(a_t\mid s_t,\theta_t)$ 的方向调整参数。系数 $\beta_t$ 为正时提高所选动作概率，为负时降低概率，绝对值决定局部更新强度。