每天建议用 20–30 分钟。

Figure 2.1：本章在全书中的位置

Figure 1.1 把全书分成“基础工具”和“算法/方法”两层。本章是基础工具的入口，向后连接 Bellman Equation（Chapter 2）与 Bellman Optimality Equation（Chapter 3）。在算法层，Value/Policy Iteration（Chapter 4）使用模型，Monte Carlo（Chapter 5）不使用模型；Stochastic Approximation（Chapter 6）与 Temporal-Difference（Chapter 7）引出增量方法；之后从表格表示转向函数表示（Chapter 8），再到 Policy Gradient（Chapter 9）以及结合 policy-based 与 value-based 思路的 Actor-Critic（Chapter 10）。

Figure 10.1：本章在全书中的位置

Figure 3.1：本章在全书中的位置

Figure 4.1：本章在全书中的位置

Figure 5.1：本章在全书中的位置