Chapter 10 - Actor-Critic Methods#

1.1 Actor 与 Critic 分别做什么？#

Actor-Critic（演员-评论家）包含两个相互配合的部分：

• Actor：策略更新步骤。动作按照策略产生，因而策略是“行动者”；
• Critic：价值更新步骤。价值估计评价当前策略及其动作选择，因而是“评论者”。

两者的关系不是两个独立算法的简单拼接，而是一个反馈回路：

1.2 策略梯度的期望形式#

回顾 Chapter 9，最大化标量指标 $J(\theta)$ 的梯度上升为：

其中：

• $\theta_t$：时刻 $t$ 的策略参数；
• $\alpha>0$：actor 的学习率；
• $\eta$：Policy Gradient Theorem 中的状态权重分布；
• $A\sim\pi$：动作由目标策略采样；
• $q_\pi(S,A)$：在策略 $\pi$ 下执行动作 $A$ 的长期价值。

由于真实期望未知，用时刻 $t$ 的单个样本近似后得到：

该式已经暴露了 Actor-Critic 的结构：

• $\nabla_\theta\ln\pi$ 直接修改策略，是 actor；
• $q_t(s_t,a_t)$ 必须由另一个学习过程估计，是 critic。

1.3 REINFORCE 与 Actor-Critic 的分界#

教材按照动作价值的估计方式区分两类算法：

因此，Actor-Critic 可以理解为：

1.4 Algorithm 10.1：Q Actor-Critic（QAC）#

QAC 是教材给出的最简单 Actor-Critic。Critic 用参数化动作价值函数 $q(s,a,w)$，并按 Sarsa 目标更新；Actor 使用 critic 当前给出的动作价值更新策略。

1
初始化策略参数 θ0、动作价值参数 w0
2
对每个回合：
3
    在状态 st 按 π(· | st, θt) 采样 at
4
    执行 at，观察 rt+1 和 st+1
5
    在 st+1 按 π(· | st+1, θt) 采样 at+1
6

7
    Actor:
8
        θt+1 <- θt + αθ grad_θ ln π(at | st, θt) q(st, at, wt)
9

10
    Critic:
11
        δt^q <- rt+1 + γq(st+1, at+1, wt) - q(st, at, wt)
12
        wt+1 <- wt + αw δt^q grad_w q(st, at, wt)

2.1 Baseline invariance：加入基线不改变期望梯度#

对任意只依赖状态的标量函数 $b(S)$，策略梯度满足：

关键原因是基线项的期望为零：

2.2 为什么基线项的期望为零？#

固定状态 $s$ 后，$b(s)$ 与动作 $a$ 无关，因此：

推导用到了 log-derivative 恒等式：

[!warning] 基线必须只依赖状态 上述抵消依赖于 $b(s)$ 能被移出动作求和。若直接令基线依赖所采样的动作，就不能由这段证明保证期望梯度保持不变。

2.3 为什么基线有用？#

定义单样本随机梯度向量：

无论选择什么合法基线，$\mathbb E[X]$ 不变；但 $\operatorname{var}(X)$ 会改变。用单个样本 $x$ 近似 $\mathbb E[X]$ 时：

• 方差越小，单样本越可能接近期望梯度；
• 方差越大，不同样本给出的更新方向和幅度越不稳定；
• REINFORCE 与 QAC 相当于选择 $b=0$，这并不保证方差较小。

2.4 Box 10.1：最优基线的推导#

令 $\bar x\doteq\mathbb E[X]$。若 $X$ 是向量，教材以协方差矩阵迹作为标量方差目标：

这里使用了迹的循环性质 $\operatorname{tr}(AB)=\operatorname{tr}(BA)$。因为 $\bar x$ 对基线不变，只需最小化：

将状态期望展开：

令其关于每个 $b(s)$ 的导数为零，得到：

解得最优基线：

该基线在方差意义下最优，但表达式较复杂。去掉梯度范数权重可得简洁的次优基线：

因此，状态价值正好可以作为动作价值的基线。

2.5 Advantage function#

取 $b(s)=v_\pi(s)$ 后，策略梯度写成：

定义优势函数（advantage function）：

由于：

$v_\pi(s)$ 是该状态下动作价值的策略加权平均。因此：

• $\delta_\pi(s,a)>0$：动作 $a$ 优于当前策略在 $s$ 的平均水平；
• $\delta_\pi(s,a)<0$：动作 $a$ 劣于平均水平；
• $\delta_\pi(s,a)=0$：该动作与平均水平相同。

单样本更新为：

2.6 用 TD error 近似优势#

教材利用动作价值定义得到：

因此可以用单个转移的 TD 误差近似优势：

这一替代有两个作用：

1. 无需等待完整回合；
2. 只需维护一个状态价值函数 $v(s,w)$，不用同时维护 $q(s,a,w)$ 与 $v(s,w)$ 两个网络。

2.7 Algorithm 10.2：A2C / TD Actor-Critic#

1
初始化策略参数 θ0、状态价值参数 w0
2
对每个时间步 t：
3
    按 π(· | st, θt) 采样 at
4
    执行 at，观察 rt+1 和 st+1
5

6
    δt <- rt+1 + γv(st+1, wt) - v(st, wt)
7

8
    Actor:
9
        θt+1 <- θt + αθ δt grad_θ ln π(at | st, θt)
10

11
    Critic:
12
        wt+1 <- wt + αw δt grad_w v(st, wt)

2.8 QAC、REINFORCE with baseline 与 A2C#

3.1 为什么前面的算法是 on-policy？#

QAC 与 A2C 的真实梯度都要求：

用样本近似该期望时，动作必须由 $\pi$ 采样。此时：

• 产生数据的是 $\pi$；
• 被评价、被改进的也是 $\pi$；
• 行为策略与目标策略相同，所以是 on-policy。

如果已有数据来自另一个行为策略 $\beta$，就需要把 $A\sim\beta$ 下的样本校正为目标策略 $\pi$ 下的期望。教材使用重要性采样（importance sampling）完成这一点。

3.2 Importance sampling 的一般形式#

设目标分布为 $p_0$，但样本来自 $p_1$。目标是估计：

插入 $p_1(x)/p_1(x)$：

定义：

若 $x_1,\ldots,x_n$ 来自 $p_1$，则：

比值：

称为重要性权重（importance weight）。其直观含义是：

• 若 $p_0(x_i)>p_1(x_i)$，该样本在目标分布中更常见，应被放大；
• 若 $p_0(x_i)<p_1(x_i)$，该样本在行为分布中出现得过多，应被缩小；
• 若 $p_0=p_1$，权重恒为 $1$，退化为普通样本均值。

教材强调，公式只要求计算已采样点处的 $p_0(x_i)$ 和 $p_1(x_i)$，不要求枚举整个巨大样本空间。

3.3 教材示例：从偏置样本恢复目标期望#

令：

目标分布为：

所以：

行为分布为：

所以：

图解：

• 橙色圆点是由 $p_1$ 产生的 $+1$ 与 $-1$ 样本；由于 $p_1(+1)=0.8$，正样本明显更多；
• 蓝色虚线是普通样本平均，随样本增加趋近 $\mathbb E_{p_1}[X]=0.6$；
• 绿色实线是带重要性权重的平均，逐渐趋近目标值 $\mathbb E_{p_0}[X]=0$；
• 该图展示了权重如何用来自 $p_1$ 的数据估计 $p_0$ 下的期望。

3.4 支持集覆盖条件#

重要性采样要求：

也就是说，行为分布必须覆盖目标分布可能取到的所有样本。若 $p_1(+1)=1$、$p_1(-1)=0$，则样本永远只有 $+1$。此时：

无论样本数多大都无法恢复目标期望 $0$。

[!warning] 覆盖条件不是“样本足够多”可以补救的 若行为策略对目标策略可能选择的某个动作给出零概率，那么这个动作永远不会进入数据集，重要性权重也无法凭空恢复缺失信息。

3.5 Theorem 10.1：Off-policy Policy Gradient Theorem#

设 $\beta$ 是行为策略，$\pi(a\mid s,\theta)$ 是要学习的目标策略。教材选择指标：

其中 $d_\beta$ 是行为策略 $\beta$ 的稳态状态分布。

[!theorem] Theorem 10.1 — Off-policy Policy Gradient Theorem 在折扣情形 $\gamma\in(0,1)$ 下，

$$\nabla_\theta J(\theta) =\mathbb E_{S\sim\rho,\,A\sim\beta} \left[ \frac{\pi(A\mid S,\theta)}{\beta(A\mid S)} \nabla_\theta\ln\pi(A\mid S,\theta) q_\pi(S,A) \right]. \tag{10.11}$$

状态权重为：

$$\rho(s) \doteq \sum_{s'\in\mathcal S} d_\beta(s')\Pr_\pi(s\mid s').$$

折扣总转移权重定义为：

与 on-policy 梯度相比有两个显式变化：

1. 动作从 $A\sim\pi$ 改为 $A\sim\beta$；
2. 梯度中加入动作重要性权重 $\pi(A\mid S,\theta)/\beta(A\mid S)$。

3.6 Box 10.2：Theorem 10.1 的证明#

由于 $d_\beta$ 与目标策略参数 $\theta$ 无关：

利用 Chapter 9 的 Lemma 9.2：

代入并交换求和顺序：

在动作求和中插入 $\beta(a\mid s)/\beta(a\mid s)$，并使用 $\nabla\pi=\pi\nabla\ln\pi$：

3.7 加入基线与 TD error#

异策略梯度同样对任意状态基线 $b(S)$ 不变：

选择 $b(S)=v_\pi(S)$，并用 TD 误差近似优势：

定义时刻 $t$ 的重要性权重：

Actor 更新为：

3.8 Algorithm 10.3：Importance-sampling Off-policy Actor-Critic#

1
按行为策略 β(· | st) 采样 at
2
执行 at，观察 rt+1 和 st+1
3

4
δt <- rt+1 + γv(st+1, wt) - v(st, wt)
5
ωt <- π(at | st, θt) / β(at | st)
6

7
Actor:
8
    θt+1 <- θt + αθ ωt δt grad_θ ln π(at | st, θt)
9

10
Critic:
11
    wt+1 <- wt + αw ωt δt grad_w v(st, wt)

4.1 从随机策略到确定性策略#

此前策略写成 $\pi(a\mid s,\theta)$，输出动作概率。确定性策略写成：

它直接把状态映射到唯一动作。为简洁起见，教材常写作 $\mu(s)$。

4.2 Theorem 10.2：Deterministic Policy Gradient#

[!theorem] Theorem 10.2 — Deterministic Policy Gradient Theorem 确定性策略的梯度可统一写为：

$$\begin{aligned} \nabla_\theta J(\theta) &=\sum_{s\in\mathcal S}\eta(s) \nabla_\theta\mu(s) \left. \nabla_a q_\mu(s,a) \right\rvert_{a=\mu(s)}\\ &=\mathbb E_{S\sim\eta} \left[ \nabla_\theta\mu(S) \left. \nabla_aq_\mu(S,a) \right\rvert_{a=\mu(S)} \right]. \end{aligned} \tag{10.14}$$

公式是一个链式法则结构：

二者相乘给出“参数改变会怎样改变价值”。

教材特意保留先对 $a$ 求导、再令 $a=\mu(s)$ 的写法，因为直接写 $\nabla_aq_\mu(s,\mu(s))$ 容易让自变量 $a$ 的身份不清楚。

4.3 为什么确定性策略梯度天然是 off-policy？#

式 (10.14) 的期望只对状态 $S$ 求，不含动作随机变量 $A$。因此，用样本估计梯度时不要求动作由目标策略 $\mu$ 采样；其他探索性行为策略也可以与环境交互。

这与随机策略梯度形成对比：随机情形的梯度含 $A\sim\pi$，若数据来自 $\beta$，必须用重要性权重校正动作分布。

4.4 Metric 1：折扣平均状态价值#

第一类指标是：

其中 $d_0$ 与 $\mu$ 无关。教材给出两种重要选择：

1. $d_0(s_0)=1$：只关心从特定状态 $s_0$ 出发的折扣回报；
2. $d_0$ 取某个行为策略的状态分布：用行为策略采集的状态来学习目标策略。

4.5 Lemma 10.1：单个状态价值的梯度#

[!theorem] Lemma 10.1 — Gradient of $v_\mu(s)$ 在折扣情形下，对任意 $s\in\mathcal S$：

$$\nabla_\theta v_\mu(s) =\sum_{s'\in\mathcal S} \Pr_\mu(s'\mid s) \nabla_\theta\mu(s') \left. \nabla_aq_\mu(s',a) \right\rvert_{a=\mu(s')}. \tag{10.16}$$

其中：

$$\Pr_\mu(s'\mid s) \doteq \sum_{k=0}^{\infty}\gamma^k[P_\mu^k]_{ss'} =\bigl[(I-\gamma P_\mu)^{-1}\bigr]_{ss'}.$$

$\Pr_\mu(s'\mid s)$ 是从 $s$ 出发，在任意步数到达 $s'$ 的折扣总转移权重。

4.6 Box 10.3：Lemma 10.1 的证明#

确定性策略下：

由于 $q_\mu$ 和 $\mu$ 都依赖 $\theta$，链式法则给出：

动作价值满足：

环境的 $r(s,a)$ 与 $p(s'\mid s,a)$ 不依赖策略参数，因此：

代回式 (10.17)，并定义：

得到递归：

将所有状态堆叠，设状态数为 $n$、参数维数为 $m$：

解这个线性方程：

元素形式为：

最后使用 Neumann 级数解释矩阵逆：

其中 $[P_\mu^k]_{ss'}$ 是恰好经过 $k$ 步从 $s$ 到 $s'$ 的概率，故求和正是折扣总转移权重。

4.7 Theorem 10.3：折扣情形的确定性策略梯度#

[!theorem] Theorem 10.3 — Discounted Deterministic Policy Gradient 对式 (10.15) 的指标：

$$\begin{aligned} \nabla_\theta J(\theta) &=\sum_{s\in\mathcal S}\rho_\mu(s) \nabla_\theta\mu(s) \left.\nabla_aq_\mu(s,a)\right\rvert_{a=\mu(s)}\\ &=\mathbb E_{S\sim\rho_\mu} \left[ \nabla_\theta\mu(S) \left.\nabla_aq_\mu(S,a)\right\rvert_{a=\mu(S)} \right], \end{aligned}$$

其中：

$$\rho_\mu(s) =\sum_{s'\in\mathcal S}d_0(s')\Pr_\mu(s\mid s').$$

4.8 Box 10.4：Theorem 10.3 的证明#

证明只需对式 (10.15) 求导并代入 Lemma 10.1：

教材在有限状态、有限动作情形下给出上述证明；若状态和动作连续，则相应求和需要替换为积分。

4.9 Metric 2：无折扣平均奖励#

无折扣指标定义为：

其中：

$d_\mu$ 是策略 $\mu$ 诱导的稳态状态分布。

[!theorem] Theorem 10.4 — Undiscounted Deterministic Policy Gradient 在无折扣情形下：

$$\begin{aligned} \nabla_\theta J(\theta) &=\sum_{s\in\mathcal S}d_\mu(s) \nabla_\theta\mu(s) \left.\nabla_aq_\mu(s,a)\right\rvert_{a=\mu(s)}\\ &=\mathbb E_{S\sim d_\mu} \left[ \nabla_\theta\mu(S) \left.\nabla_aq_\mu(S,a)\right\rvert_{a=\mu(S)} \right]. \end{aligned}$$

4.10 Box 10.5：Theorem 10.4 的证明结构#

无折扣差分动作价值为：

仍从 $v_\mu(s)=q_\mu(s,\mu(s))$ 出发，链式法则给出：

由于环境奖励和转移概率不依赖 $\theta$：

将所有状态堆叠：

整理为：

左乘 $d_\mu^T\otimes I_m$，利用：

两个价值梯度项抵消，最终得到：

4.11 Algorithm 10.4：Deterministic Actor-Critic#

1
初始化行为策略 β、目标策略参数 θ0、动作价值参数 w0
2
对每个时间步 t：
3
    按 β 在 st 生成 at
4
    执行 at，观察 rt+1 和 st+1
5

6
    ãt+1 <- μ(st+1, θt)
7
    δt <- rt+1 + γq(st+1, ãt+1, wt) - q(st, at, wt)
8

9
    Actor:
10
        θt+1 <- θt + αθ grad_θ μ(st, θt)
11
                    [grad_a q(st, a, wt)] evaluated at a = μ(st)
12

13
    Critic:
14
        wt+1 <- wt + αw δt grad_w q(st, at, wt)