Chapter 1 — Basic Concepts#

2.1 状态#

状态（state）描述智能体相对于环境的当前状况。在本例中，只要知道机器人位于哪个格子，就足以描述后续移动，因此“格子位置”可以作为状态。九个位置分别记为 $s_1,s_2,\ldots,s_9$，所有可能状态构成状态空间（state space）：

状态不是机器人本身，也不是某个动作；它是决策时用于概括当前情形的信息。网格位置之所以可用，是因为本章假定同一位置下，下一步的转移与奖励规则相同。

2.2 动作#

动作（action）是智能体可以尝试执行的决策：

全局动作空间（action space）为

• 图中展示了什么：左图给出九个状态及禁止格、目标格的位置；右图给出四个方向动作和原地不动动作。
• 它说明了哪个概念：状态是位置的编号，动作是从当前位置发出的控制选择。
• 阅读重点：$a_5$ 不是“没有定义动作”，而是明确选择保持不动；$s_6$、$s_7$ 虽是禁止格，仍属于状态空间。
• 与正文公式的联系：左图枚举 $\mathcal S$，右图枚举 $\mathcal A$，二者共同定义状态—动作对 $(s,a)$。

2.3 全局动作空间与状态相关动作空间#

一种建模方法是只保留物理上不会撞边界的动作。例如在左上角 $s_1$，向上 $a_1$ 和向左 $a_4$ 会撞边界，于是可以定义

另一种方法是让每个状态都有相同的全局动作空间：

本书采用第二种、更一般的方式。边界动作仍可被选择，只是环境会把智能体弹回原状态并给予边界惩罚。这种表示把“能否选择动作”和“动作执行后会发生什么”分开：前者属于动作空间，后者属于状态转移与奖励规则。

[!warning] 常见误区

• 状态不是动作：$s_1$ 表示当前位置，$a_2$ 表示向右的选择。
• 状态空间不是一条实际轨迹：$\mathcal S$ 列出所有可能状态；轨迹只记录一次交互实际访问的顺序。
• 动作可选不代表动作一定产生预期结果：动作表达智能体的意图，下一状态由环境的转移规则决定；随机环境中结果尤其可能偏离意图。

3.1 状态转移的基本形式#

状态转移（state transition）是执行动作后从当前状态到下一状态的过程。例如在 $s_1$ 选择向右 $a_2$：

箭头左侧是当前状态，箭头上的标记是动作，右侧是环境产生的下一状态。

3.2 撞击边界#

若在 $s_1$ 选择向上 $a_1$，机器人不可能离开状态空间，因此被边界“弹回”，仍在 $s_1$：

这是一条自转移。虽然下一状态没变，但动作确实执行过，并会按奖励规则得到 $r_{\text{boundary}}=-1$。

3.3 进入禁止格#

禁止格有两种常见建模方式：

1. 可进入：如在 $s_5$ 选择 $a_2$，下一状态为 $s_6$，即 $s_5\xrightarrow{a_2}s_6$，同时受到惩罚。
2. 不可进入：若禁止区域由墙围住，同一动作会被弹回，得到 $s_5\xrightarrow{a_2}s_5$。

采用哪种方式取决于物理环境或仿真设计。本章采用第一种：禁止格可进入，但进入会受到负奖励。现实任务中的转移由真实动力学决定；仿真任务则可按问题需要定义。

3.4 状态转移表#

Table 1.1 逐项给出当前状态与动作确定的下一状态。

• 图中展示了什么：全部 $9\times5$ 个状态—动作对对应的下一状态。
• 它说明了哪个概念：本例的转移是一个确定性查表规则。
• 阅读重点：碰边界会原地不动；禁止格 $s_6,s_7$ 可进入；从 $s_9$ 执行不同动作可能留在 $s_9$ 或离开到 $s_6,s_8$。
• 与正文公式的联系：表中每个单元格都等价于某个概率为 1 的 $p(s'|s,a)$，其他候选下一状态概率为 0。

3.5 状态转移概率#

状态转移概率

表示：已知当前状态为 $s$ 且执行动作 $a$ 时，下一状态为 $s'$ 的条件概率。原书例子中，$s_1$ 向右必到 $s_2$：

对这个固定的 $(s_1,a_2)$，可能的下一状态形成一个完整概率分布：

其余 $s_6,s_7,s_8,s_9$ 的概率同样为 0。原因不是这些状态“不存在”，而是本例的确定性动力学规定这一步只能到达 $s_2$。

3.6 确定性与随机性状态转移#

原书的网格世界为简化起见采用确定性转移；随机风只是用来说明更一般的随机情形。

4.1 策略是什么#

策略（policy）规定智能体在各个状态下选择什么动作。它不是一次走过的路线，而是一套覆盖所有状态的决策规则。遵循同一策略，从不同初始状态出发，访问的前缀不同，因此可以得到不同轨迹；这些轨迹仍由同一套状态到动作的映射产生。

• 图中展示了什么：上图用箭头给出每个状态的确定性动作，下图展示三个不同初始状态得到的轨迹。
• 它说明了哪个概念：策略是全局规则，轨迹是从某个初始状态实际展开的结果。
• 阅读重点：绿色箭头属于策略；红色虚线属于轨迹。改变初始状态会改变轨迹，但不改变图中的策略。
• 与正文公式的联系：每个绿色箭头表示对应动作的 $\pi(a|s)=1$；轨迹还需结合环境转移 $p(s'|s,a)$ 才能生成。

4.2 策略的数学表示#

策略写为

表示在状态 $s$ 下选择动作 $a$ 的条件概率。对每个固定状态，可选动作的概率必须归一化：

这里求和的是“在同一个状态下可选择的所有动作”，不是对状态或下一状态求和。

4.3 确定性策略#

Figure 1.4 中 $s_1$ 的策略为

$\pi(a_2|s_1)=1$ 表示只要处于 $s_1$，策略必然选择向右；它描述动作选择的确定性，而不是直接断言下一状态。下一状态仍由环境转移模型决定。在本章的确定性环境中，这一选择随后令智能体到达 $s_2$。

4.4 随机策略#

随机策略允许同一状态下以不同概率选择多个动作。在 $s_1$，Figure 1.5 规定

其余三个动作概率为 0。因而从相同的 $s_1$ 出发，多次执行策略可能先向右，也可能先向下。

• 图中展示了什么：在 $s_1$，向右和向下两条选择分支各有 $0.5$ 的概率，并绘出相应路径。
• 它说明了哪个概念：随机性可以来自策略本身，即智能体的动作选择不唯一。
• 阅读重点：图中的 $0.5$ 是动作概率 $\pi(a|s)$，不是风把智能体吹向某处的转移概率。
• 与正文公式的联系：$\pi(a_2|s_1)+\pi(a_3|s_1)=0.5+0.5=1$，满足策略归一化。

4.5 策略的表格表示#

Table 1.2 将 Figure 1.5 的随机策略存成表格。行是状态，列是动作，单元格是 $\pi(a_j|s_i)$。

• 图中展示了什么：九个状态上五个动作的选择概率。
• 它说明了哪个概念：tabular representation（表格表示）把有限状态、有限动作下的策略完整枚举出来。
• 阅读重点：每一行对应一个条件概率分布，所以行和必须为 1；只有 $s_1$ 一行含两个非零概率，其余各行都是确定性选择。
• 与正文公式的联系：表中第 $i$ 行第 $j$ 列就是 $\pi(a_j|s_i)$，每行满足 $\sum_a\pi(a|s_i)=1$。

5.1 奖励的定义#

智能体在状态 $s$ 执行动作 $a$ 后，会从环境获得奖励（reward）$r$。在本章的确定性写法中，奖励可记为

奖励是环境给出的标量反馈，可以是正数、负数或零。正奖励通常鼓励相应行为，负奖励通常抑制相应行为，但真正决定策略优劣的是长期累计的相对结果，而不是单个数值的正负。

5.2 本章的奖励设计#

表示尝试越过网格边界；

表示尝试进入禁止格；

表示到达目标状态；其余普通情况为

这些规则把任务偏好编码为反馈：希望到达目标，同时避免撞边界和踏入禁止区域。

5.3 目标状态的特殊情况#

本章到达 $s_9$ 后不强制停止。两个动作展示了“下一状态相同，奖励却不同”：

• 在 $s_9$ 执行 $a_5$，仍处于 $s_9$，并得到 $r_{\text{target}}=+1$。
• 在 $s_9$ 执行 $a_2$，向右碰到边界，仍处于 $s_9$，但得到 $r_{\text{boundary}}=-1$。

因此，奖励不能只由“状态是否改变”判断。两次转移都得到 $s'=s_9$，但动作语义和奖励规则不同。Table 1.3 中 $s_9$ 行还表明：$a_1$ 会进入禁止格 $s_6$，$a_4$ 会正常移动到 $s_8$。

5.4 奖励作为人机接口#

奖励可理解为人和学习系统之间的接口。任务设计者不必为每个状态直接编写完整路线，而是定义哪些结果值得追求、哪些应避免；智能体再通过与环境交互学习能获得较高长期回报的策略。复杂任务中的奖励设计仍然困难，因为设计者必须理解任务目标，避免反馈与真实意图不一致。

[!tip] 奖励告诉 agent 什么结果值得追求，但通常不会直接告诉 agent 应该走哪条路径。

5.5 奖励表#

Table 1.3 给出所有状态—动作对的确定性即时奖励。

其中 $r_{\text{boundary}}=-1$、$r_{\text{forbidden}}=-1$、$r_{\text{target}}=+1$。

• 图中展示了什么：每个 $(s,a)$ 执行后立即获得的奖励类别。
• 它说明了哪个概念：同一动作在不同状态、同一状态下的不同动作，都可能得到不同奖励。
• 阅读重点：该表是即时奖励表，不是回报表；$s_9$ 的多个自转移可能对应不同奖励。
• 与正文公式的联系：确定性时单元格给出 $r(s,a)$；随机奖励时需改用 $p(r|s,a)$。

5.6 为什么不能只选择即时奖励最大的动作#

即时奖励（immediate reward）只评价刚执行的一步；策略目标需要考虑之后所有奖励形成的长期回报。当前最大奖励动作可能把智能体带入未来较差的区域，也可能只是让它停滞，无法获得后续目标奖励。

[!example] 补充理解 在 $s_4$，$a_1$、$a_2$ 和 $a_5$ 的即时奖励都是 0。若只按“当前最大值”并一直选 $a_5$，智能体会原地不动，永远得不到目标奖励；而选择 $a_2$ 可走向 $s_5$，再经 $s_8$ 到达 $s_9$ 并得到 $+1$。即时奖励相同，不代表长期结果相同。相反，经 $s_7$ 的路径会吃到禁止格奖励 $-1$，即使随后也能到目标，其总回报仍更低。

5.7 随机奖励#

更一般的奖励过程用

表示给定状态和动作后，获得奖励值 $r$ 的概率。本章表格是确定性奖励，例如

6.1 轨迹#

轨迹（trajectory）是一次交互展开得到的状态—动作—奖励链。Figure 1.6 左侧策略从 $s_1$ 产生：

• 图中展示了什么：两套策略从 $s_1$ 到 $s_9$ 的红色虚线轨迹，以及沿途即时奖励。
• 它说明了哪个概念：到达同一目标的不同策略会生成不同轨迹和不同回报。
• 阅读重点：Policy 1 避开禁止格；Policy 2 经过 $s_7$，因此多出一次 $-1$。
• 与正文公式的联系：左轨迹的奖励序列为 $(0,0,0,1)$，右轨迹为 $(0,-1,0,1)$，分别代入回报求和。

6.2 回报#

回报（return）是沿轨迹收集的奖励之和。原书也使用 total reward、cumulative reward 表达同一类累计概念。Policy 1 的回报为

Policy 2 的轨迹是

所以

从同一初始状态比较，Policy 1 的回报 $1>0$，因此比 Policy 2 更好；这一结论与“Policy 2 穿过禁止格”的直觉一致。

6.3 即时奖励与未来奖励#

• 即时奖励：在初始状态执行当前动作后马上得到的奖励。
• 未来奖励（future rewards）：离开初始状态后继续交互得到的奖励。
• 回报：即时奖励与未来奖励的累计结果。

一个动作可能先得到负奖励、随后带来更多正奖励；也可能当前没有损失、长期却停滞不前。因此用回报而非即时奖励做决策，才能避免短视。

6.4 无限轨迹与发散问题#

若到达 $s_9$ 后一直执行 $a_5$，每次都留在 $s_9$ 并得到 $+1$，未折扣总和为

直接求和发散，无法得到有限的策略评价。这促使我们为越远的奖励赋予越小权重。

6.5 折扣回报#

从时刻 $t$ 开始的折扣回报（discounted return）定义为

其中折扣率（discount rate）$\gamma$ 控制未来奖励的权重。对上面的无限轨迹，前三个奖励为 0，第一次 $+1$ 出现在第四步，所以

删去为零的项：

提取公因子 $\gamma^3$：

令 $S=1+\gamma+\gamma^2+\cdots$。因为 $0<\gamma<1$，有

两式相减：

所以

最终得到

指数 $3$ 很关键：按 $G_t$ 的定义，第一步奖励权重是 $\gamma^0=1$，第四步奖励的权重才是 $\gamma^3$。

6.6 折扣率的意义#

折扣率一方面使某些无限长正奖励序列得到有限回报，另一方面调节近期与远期奖励的相对重要性。

6.7 Episode#

当智能体按策略与环境交互，并在某个终止状态（terminal state）停止时，得到的轨迹称为回合（episode），也称 trial。

• 随机策略或随机环境下，从同一状态出发可得到不同回合。
• 若策略和环境全部确定，从同一状态出发总会得到同一回合。
• 回合通常假定为有限轨迹；具有回合的任务称为 episodic task。
• 没有终止状态、交互永不结束的任务称为 continuing task。

轨迹是更一般的状态—动作—奖励序列；回合强调这条轨迹按任务终止规则构成一次完整试验。

6.8 Absorbing State#

吸收状态（absorbing state）是一旦到达就永远不会离开的状态。对终止状态 $s_9$，原书给出两种统一 episodic 与 continuing 任务的处理方式：

1. 把终止状态变成特殊的吸收状态：可规定 $\mathcal A(s_9)=\{a_5\}$；或者仍保留全部动作，但令

   $$p(s_9|s_9,a_i)=1,\qquad i=1,\ldots,5.$$

2. 把目标状态当作普通状态：令 $\mathcal A(s_9)=\{a_1,\ldots,a_5\}$，允许离开再返回。由于每次到达或停留在 $s_9$ 可获得正奖励，智能体最终会倾向于留在这里；无限序列需用折扣回报避免发散。

本书采用第二种方式：$s_9$ 是普通状态，动作空间与其他状态相同，而不是强制吸收状态。

7.1 MDP 的组成#

马尔可夫决策过程（Markov decision process, MDP）是描述随机动态系统的一般框架。本章将其组成整理为三层。

7.2 概率归一化条件#

三条公式都“和为 1”，但随机变量不同：分别是下一状态、奖励和动作，不能互换。

7.3 马尔可夫性质#

状态转移的马尔可夫性质（Markov property）为

奖励的对应表达式为

准确含义是：在给定当前状态和动作的条件下，更早的历史信息不会为下一状态和奖励提供额外信息。 这不是笼统地说“未来与过去无关”；若没有给定足以概括当前情形的状态，过去仍可能有信息价值。Markov 性质是下一章推导 Bellman Equation 的基础。

[!example] 补充理解：符合 Markov 性质 若状态完整记录机器人所在格子，且网格规则固定，那么给定 $s_t=s_1$ 和 $a_t=a_2$ 后，是否曾经访问过 $s_7$ 不会改变本章规定的下一状态 $s_2$ 与即时奖励 0。

[!example] 补充理解：不符合 Markov 性质 假设真实环境有“有风/无风”两种模式，但状态仍只记录格子位置，且风模式会持续。过去几步的偏移可以帮助判断当前是否有风，从而改进对下一状态的预测。此时只用格子位置作为 $s_t$ 不充分；给定它和动作后，历史仍提供额外信息，因此这个状态定义不满足 Markov 性质。

7.4 Model / Dynamics#

对所有 $(s,a)$ 给出的

和

共同称为环境模型（model）或动力学（dynamics）。前者描述环境把状态推进到哪里，后者描述环境反馈什么奖励。策略不属于环境模型，因为它描述智能体如何选择动作。

7.5 Stationary 与 Nonstationary#

• 平稳模型（stationary model / time-invariant）：转移与奖励规律不随时间改变；同一 $(s,a)$ 在不同时刻遵循同一分布。
• 非平稳模型（nonstationary model / time-variant）：规律随时间改变。例如网格中的禁止区域有时出现、有时消失，会改变转移或奖励过程。

本书只考虑平稳模型。

7.6 MDP 与 Markov Process#

MDP 中存在动作选择和策略，智能体可以影响状态演化。一旦固定 MDP 的策略，动作选择规则不再是待决策对象，系统便退化为马尔可夫过程（Markov process, MP）。若过程为离散时间，且状态数有限或可数，随机过程文献也称其为马尔可夫链（Markov chain）。本书在上下文明确时交替使用 MP 与 Markov chain，并主要考虑状态数、动作数均有限的 finite MDP。

• 图中展示了什么：左侧是固定随机策略下的网格，右侧用圆节点与有向边抽象出状态及状态间概率转移。
• 它说明了哪个概念：固定策略后，动作选择被吸收到总体状态演化中，MDP 可表示为 Markov process。
• 阅读重点：圆表示状态，带概率的箭头表示状态转移；$s_1$ 有两条概率为 $0.5$ 的分支，其余展示的分支为 1。
• 与正文公式的联系：图上的 Prob 值是固定策略与环境转移共同诱导的状态间概率；其每个状态的出边概率总和为 1。

7.7 Agent–Environment Interaction#

flowchart LR
    A[Agent] -->|Action| E[Environment]
    E -->|New state and reward| A

• agent：决策者；感知状态、维护策略并决定动作。
• environment：智能体以外的一切；依据动力学产生新状态和奖励。网格例中分别对应机器人和网格世界。
• actuator：执行智能体已经决定的动作。
• interpreter：把环境结果解释成智能体可使用的新状态和奖励。
• closed loop：智能体选动作，环境反馈新状态与奖励，智能体再据此做下一次决策，循环不断重复。

三组容易混淆的关系#

1. 策略 $\pi(a|s)$ 与状态转移 $p(s'|s,a)$：前者是智能体在状态中怎样选动作，后者是环境收到动作后怎样产生下一状态。策略的条件中没有 $s'$；转移模型的条件中已经给定 $a$。
2. 即时奖励 $r$ 与回报 $G$：$r$ 是一步反馈，$G$ 汇总当前与未来的奖励。某一步 $r=0$ 不表示该动作长期没有价值；某一步 $r>0$ 也不保证最终回报最大。
3. episode 与 trajectory：trajectory 泛指状态—动作—奖励序列，可有限也可无限；episode 是按任务定义从开始到终止的一次完整 trial，通常为有限轨迹。

9.1 奖励是否可以全部为正数或全部为负数#

可以。原书强调，决定鼓励或抑制作用的是奖励之间的相对大小，而不是绝对正负。本章原奖励为

给所有奖励统一加上 $-2$，得到

虽然现在全部为负，目标奖励 $-1$ 仍相对最好，边界与禁止格的 $-3$ 仍相对最差。按本章给出的结论，这种共同平移不改变所得最优策略；原书将其概括为“optimal policies are invariant to affine transformations of rewards”，并把详细讨论留到 Chapter 3.5。本章不提前展开其证明。

9.2 奖励是否依赖下一状态#

很多任务中，奖励看起来确实由下一状态决定，例如只有下一状态是目标格时才给正奖励。更细的模型可以写成

表示给定当前状态、动作和下一状态后的奖励分布。由于 $s'$ 本身由 $(s,a)$ 产生，可以把 $s'$ 边缘化，得到只以 $(s,a)$ 为条件的写法：

直观上，对每个可能的下一状态，先计算“到该状态的概率”乘以“在该状态分支上得到奖励 $r$ 的概率”，再把所有分支相加。于是 $p(r|s,a,s')$ 与 $p(r|s,a)$ 可以建立联系；原书采用后者以便在 Chapter 2 建立 Bellman Equation。

11.1 状态空间#

• 符号：$s_i$ 是第 $i$ 个状态，$\mathcal S$ 是所有状态的集合。
• 用途：列出系统可能处于的全部状态。
• 网格例子：九个格子分别对应 $s_1$ 至 $s_9$，包括禁止格与目标格。

11.2 动作空间#

• 符号：$a_1$ 至 $a_5$ 分别为上、右、下、左、不动。
• 用途：列出全局可供策略选择的动作。
• 网格例子：本书即使在边界状态也保留五个动作。

11.3 状态相关动作空间#

• 符号：$\mathcal A(s)$ 是状态 $s$ 的可选动作集合。
• 用途：区分“删去不可行动作”与“保留动作并由转移/奖励处理”的两种建模方式。
• 网格例子：前式可排除 $s_1$ 的上、左；本书采用后式，对所有状态保留五动作。

11.4 状态转移箭头#

• 符号：箭头上方是动作，左右分别为当前状态与下一状态。
• 用途：直观记录一次确定性转移。
• 网格例子：$s_1$ 向右到 $s_2$；向上撞边界后留在 $s_1$。

11.5 状态转移概率#

• 符号：$s$ 为当前状态，$a$ 为动作，$s'$ 为下一状态。
• 用途：同时描述确定性与随机性环境。
• 网格例子：$p(s_2|s_1,a_2)=1$；有随机风时可能有 $p(s_5|s_1,a_2)>0$。

11.6 下一状态概率归一化#

• 符号：固定 $(s,a)$，对所有下一状态 $s'$ 求和。
• 用途：保证 $p(\cdot|s,a)$ 是合法概率分布。
• 网格例子：$s_1$ 向右时 $s_2$ 概率为 1，其余状态概率为 0。

11.7 策略概率#

• 符号：$\pi$ 为策略；$a$ 是在状态 $s$ 下被选择的动作。
• 用途：用统一形式表示确定性与随机策略。
• 网格例子：随机策略在 $s_1$ 令 $\pi(a_2|s_1)=\pi(a_3|s_1)=0.5$。

11.8 策略归一化#

• 符号：固定状态 $s$，对其所有可选动作求和。
• 用途：保证策略在每个状态给出合法动作分布。
• 网格例子：$s_1$ 行的 $0+0.5+0.5+0+0=1$。

11.9 确定性奖励#

• 符号：$r$ 是执行状态—动作对后得到的即时奖励。
• 用途：用标量反馈表达任务偏好。
• 网格例子：在 $s_8$ 选 $a_2$ 到达目标，得到 $+1$。

11.10 奖励概率与归一化#

• 符号：$\mathcal R(s,a)$ 是该状态—动作对可能产生的奖励集合。
• 用途：描述随机奖励，并保证奖励分布合法。
• 网格例子：$p(r=-1|s_1,a_1)=1$，$p(r\neq-1|s_1,a_1)=0$。

11.11 有限轨迹回报#

• 符号：$r_k$ 是轨迹第 $k$ 步奖励，$T$ 是有限步数。
• 用途：把一次有限轨迹的奖励累计成策略评价。
• 网格例子：Policy 1 得 $G=0+0+0+1=1$；Policy 2 得 $G=0-1+0+1=0$。

11.12 折扣回报#

• 符号：$G_t$ 是从时刻 $t$ 开始的回报，$\gamma$ 是折扣率。
• 用途：处理无限轨迹并调节近期、远期奖励权重。
• 网格例子：前三步奖励为 0、第四步起每步为 1 时，$G=\gamma^3+\gamma^4+\cdots$。

11.13 等比数列结果#

• 符号：首个非零折扣项为 $\gamma^3$。
• 用途：把无限奖励序列化为有限闭式表达。
• 网格例子：到达 $s_9$ 后不断执行 $a_5$ 并持续得到 $+1$。

11.14 吸收状态条件#

• 符号：对 $s_9$ 的每个动作，下一状态仍为 $s_9$。
• 用途：把终止状态建模为不会离开的 absorbing state。
• 网格例子：这是原书列出的第一种处理方式；本书实际采用把 $s_9$ 当普通状态的第二种方式。

11.15 状态的 Markov 性质#

• 符号：$t$ 是当前时刻，$t+1$ 是下一时刻。
• 用途：说明给定当前状态、动作后，完整历史不再改进下一状态分布。
• 网格例子：规则固定时，$s_1$ 向右的结果不依赖更早走过哪些格子。

11.16 奖励的 Markov 性质#

• 符号：$r_{t+1}$ 是执行 $a_t$ 后得到的奖励。
• 用途：说明当前状态与动作已包含预测下一奖励所需的信息。
• 网格例子：在 $s_5$ 向右进入禁止格的奖励不取决于早先路线。

11.17 奖励对下一状态的边缘化#

• 符号：$p(r|s,a,s')$ 显式条件于下一状态，$p(s'|s,a)$ 是下一状态概率。
• 用途：把依赖 $s'$ 的奖励模型转成只条件于 $(s,a)$ 的形式。
• 网格例子：可按所有可能下一格加权汇总“到该格后获得奖励 $r$”的概率。