【强化学习系列】贝尔曼方程

首先回顾状态价值函数和动作价值函数的定义：
状态价值函数$v_{\pi }(s)$是从状态$s$出发，直至一幕结束后获得的回报的期望值
动作价值函数$q_{\pi }(s,a)$是从状态$s$出发，采取动作$a$后，直至一幕结束后获得的回报的期望值
以下面这张回溯图为例：

从状态$s$出发有三个动作可以选，选择的概率为$\pi (a_i|s)$，一旦选择了动作$a_i$，后续获得的回报为$q_{\pi }(s,a_i)$，而状态价值函数是从状态$s$出发回报的期望值，因此需要按动作被选择的概率对动作价值进行加权求和，即：
$$v_{\pi }(s)=\pi (a_1|s)q_{\pi }(s,a_1)+\pi (a_2|s)q_{\pi }(s,a_2)+\pi (a_3|s)q_{\pi }(s,a_3)$$
更一般地，状态价值与动作价值的关系为：
$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)q_{\pi }(s,a)$$
在采取动作$a$后，智能体会以一定概率获得一个奖励$r$，并转移到下一个状态$s^{\prime }$，这个概率记作$p(s^{\prime },r|s,a)$。$q_{\pi }(s,a)$和下一个状态$s^{\prime }$的状态价值之间存在以下关系：
$$q_{\pi }(s,a)=\sum _{s^{\prime }\in S}\sum _{r\in R}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$

这个关系通过下面的回溯图很容易理解，因为动作价值是期望值，而奖励$R_{t+1}$和下一个状态$S_{t+1}$都是随机变量，求期望值需要对随机变量不同取值按概率加权求和。

联立上面两个式子就得到状态价值函数的贝尔曼方程：
$$v_{\pi }(s)=\sum _{a\in \mathcal{A}}\pi (a|s)\sum _{s^{\prime }\in S}\sum _{r\in R}p(s^{\prime },r|s,a)[r+\gamma v_{\pi }(s^{\prime })]$$
同样可以得到动作价值函数的贝尔曼方程：
$$q_{\pi }(s,a)=\sum _{s^{\prime }\in S}\sum _{r\in R}p(s^{\prime },r|s,a)[r+\gamma \sum _{a^{\prime }\in \mathcal{A}}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })]$$