详解受约束的强化学习(三、公式关系串联)

串联全文公式关联

由于这里面公式比较多,我们再加深一下公式的关系。

论文第五部分

第5部分是CPO算法的理论核心，解决约束马尔可夫决策过程（CMDP）中的优化问题。主要作用包括：

1. 定义CMDP优化：在最大化奖励$J(\pi )$的同时，确保约束$J_{C_i}(\pi )\le d_i$（如安全性）。

2. 建立性能界限：通过定理和推论提供新旧策略在奖励和成本上的差异界限，支持代理优化。

3. 引入信任区域：限制策略差异（如KL散度），确保更新稳定。

4. 指导实际实现：为第6部分的算法实现提供理论基础。

5. CMDP优化问题（公式3）

   $${\pi }_{k+1}=\arg \underset{\pi }{\max }J(\pi )$$$$\text{s.t.}{J}_{C_i}(\pi )\le d_i,i=1,\dots ,m$$$$D(\pi ,{\pi }_k)\le \delta$$

   作用：定义CPO的目标，但直接计算$J(\pi )$和$J_{C_i}(\pi )$需要离线策略评估，难以实现。

6. 引理2：初步界限

$$J({\pi }^{\prime })-J(\pi )\ge \frac{1}{1-\gamma }\left(L_{\pi ,f}({\pi }^{\prime })-2{ϵ}_f^{{\pi }^{\prime }}{D}_{TV}(d^{{\pi }^{\prime }}\Vert d^{\pi })\right)$$

$$J({\pi }^{\prime })-J(\pi )\le \frac{1}{1-\gamma }\left(L_{\pi ,f}({\pi }^{\prime })+2{ϵ}_f^{{\pi }^{\prime }}{D}_{TV}(d^{{\pi }^{\prime }}\Vert d^{\pi })\right)$$

其中$L_{\pi ,f}({\pi }^{\prime })={\mathbb{E}}_{s\sim d^{\pi },a\sim {\pi }^{\prime },s^{\prime }\sim P}\left[\left(\frac{{\pi }^{\prime }(a|s)}{\pi (a|s)}-1\right){\delta }_f(s,a,s^{\prime })\right]$，${\delta }_f(s,a,s^{\prime })=R(s,a,s^{\prime })+\gamma f(s^{\prime })-f(s)$。

关系：将回报差异转化为代理函数$L_{\pi ,f}({\pi }^{\prime })$和误差项（与策略之间的总变差距离相关），$D_{TV}(d^{{\pi }^{\prime }}\Vert d^{\pi })=\frac{1}{2}{\sum }_s|d^{{\pi }^{\prime }}(s)-d^{\pi }(s)|$是状态分布的总变差距离，$d^{\pi }(s)$是折扣未来状态分布, 所以$D_{TV}(d^{{\pi }^{\prime }}\Vert d^{\pi })$是在捕捉状态分布差异。

• $L_{\pi ,f}({\pi }^{\prime })={\mathbb{E}}_{s\sim d^{\pi },a\sim {\pi }^{\prime },s^{\prime }\sim P}\left[\left(\frac{{\pi }^{\prime }(a|s)}{\pi (a|s)}-1\right){\delta }_f(s,a,s^{\prime })\right]$
• ${\delta }_f(s,a,s^{\prime })=R(s,a,s^{\prime })+\gamma f(s^{\prime })-f(s)$，${\delta }_f(s,a,s^{\prime })$是时序误差（TD error）
• ${ϵ}_f^{{\pi }^{\prime }}={\max }_s\left|{\mathbb{E}}_{a\sim {\pi }^{\prime },s^{\prime }\sim P}\left[{\delta }_f(s,a,s^{\prime })\right]\right|$，是一个误差项

3. 引理3：状态分布到策略差异

   $$\Vert d^{{\pi }^{\prime }}-d^{\pi }{\Vert }_1\le \frac{2\gamma }{1-\gamma }{\mathbb{E}}_{s\sim d^{\pi }}\left[D_{TV}({\pi }^{\prime }\Vert \pi |s)\right]$$

• $D_{TV}({\pi }^{\prime }\Vert \pi |s)=\frac{1}{2}{\sum }_a|{\pi }^{\prime }(a|s)-\pi (a|s)|$，是状态$s$下的总变差距离

  关系：将状态分布差异转换为策略差异$D_{TV}({\pi }^{\prime }\Vert \pi |s)$，使界限更实用。

4. 定理1：综合界限

   $$D_{\pi ,f}^{+}({\pi }^{\prime })\ge J({\pi }^{\prime })-J(\pi )\ge D_{\pi ,f}^{-}({\pi }^{\prime })$$

   其中$D_{\pi ,f}^{\pm }({\pi }^{\prime })=\frac{L_{\pi ,f}({\pi }^{\prime })}{1-\gamma }\pm \frac{2\gamma {ϵ}_f^{{\pi }^{\prime }}}{(1-\gamma {)}^2}{\mathbb{E}}_{s\sim d^{\pi }}\left[D_{TV}({\pi }^{\prime }\Vert \pi |s)\right]$。

   关系：结合引理2和引理3，用策略差异替换状态分布差异，支持代理优化。

5. 推论1：奖励优化

   $$J({\pi }^{\prime })-J(\pi )\ge \frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d^{\pi },a\sim {\pi }^{\prime }}\left[A^{\pi }(s,a)-\frac{2\gamma {ϵ}^{{\pi }^{\prime }}}{1-\gamma }{D}_{TV}({\pi }^{\prime }\Vert \pi |s)\right]$$

   关系：特化定理1，$A^{\pi }(s,a)$作为奖励的代理函数，误差项控制近似准确性。

6. 推论2：约束成本

   $$J_{C_i}({\pi }^{\prime })-J_{C_i}(\pi )\le \frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d^{\pi },a\sim {\pi }^{\prime }}\left[A_{C_i}^{\pi }(s,a)+\frac{2\gamma {ϵ}_{C_i}^{{\pi }^{\prime }}}{1-\gamma }{D}_{TV}({\pi }^{\prime }\Vert \pi |s)\right]$$

   关系：为约束成本提供上界，支持约束条件的近似。

7. 推论3：KL散度

   $${\mathbb{E}}_{s\sim d^{\pi }}\left[D_{TV}({\pi }^{\prime }\Vert \pi |s)\right]\le \sqrt{\frac{1}{2}{\mathbb{E}}_{s\sim d^{\pi }}\left[D_{KL}({\pi }^{\prime }\Vert \pi |s)\right]}$$

   关系：将$D_{TV}$转换为$D_{KL}$，与信任区域约束兼容。

8. 命题1：奖励保证

   $$J({\pi }_{k+1})-J({\pi }_k)\ge \frac{-\sqrt{2\delta }\gamma {ϵ}^{{\pi }_{k+1}}}{(1-\gamma {)}^2}$$

   关系：基于推论1和推论3，保证信任区域更新的奖励下界。

9. 命题2：约束保证

   $$J_{C_i}({\pi }_{k+1})\le d_i+\frac{\sqrt{2\delta }\gamma {ϵ}_{C_i}^{{\pi }_{k+1}}}{(1-\gamma {)}^2}$$

   关系：基于推论2和推论3，保证约束违反的上界。

10. CPO更新

    $${\pi }_{k+1}=\arg \underset{\pi \in {\Pi }_{\theta }}{\max }{\mathbb{E}}_{s\sim d^{{\pi }_k},a\sim \pi }\left[A^{{\pi }_k}(s,a)\right]$$ $$\text{s.t.}{J}_{C_i}({\pi }_k)+\frac{1}{1-\gamma }{\mathbb{E}}_{s\sim d^{{\pi }_k},a\sim \pi }\left[A_{C_i}^{{\pi }_k}(s,a)\right]\le d_i$$ $${\tilde{D}}_{KL}(\pi \Vert {\pi }_k)\le \delta$$

    关系：整合推论1-2的代理函数和推论3的KL约束，形成CPO的核心优化。

总结：公式从回报差异（引理2）到策略差异（定理1、推论3），再到奖励和约束的代理优化（推论1-2、命题1-2），最终形成CPO更新。

论文第六部分

第6部分将第5部分的理论转化为高效算法，解决高维策略的优化问题。主要作用包括：

1. 高效计算：通过线性化和对偶问题简化CPO更新。
2. 错误处理：提供恢复策略应对不可行情况。
3. 鲁棒性增强：通过成本整形提高约束满足的稳定性。
4. 理论到实践：将第5部分的界限应用于实际算法。

直观理解：像将“设计蓝图”变为“实际设备”，确保CPO在复杂任务中可行。

1. CPO近似优化（公式11）

   $${\theta }_{k+1}=\arg \underset{\theta }{\max }{g}^T(\theta -{\theta }_k)$$ $$\text{s.t.}{c}_i+b_i^T(\theta -{\theta }_k)\le 0$$ $$\frac{1}{2}(\theta -{\theta }_k{)}^{T}H(\theta -{\theta }_k)\le \delta$$

   关系：线性化公式10的目标和约束，二次近似KL散度，降低计算复杂度。

2. 对偶问题（公式12-13）

   $$\underset{\lambda \ge 0,\nu \ge 0}{\max }\frac{-1}{2\lambda }\left(g^T{H}^{-1}g-2r^T\nu +{\nu }^{T}S\nu \right)+{\nu }^{T}c-\frac{\lambda \delta }{2}$$ $${\theta }^{\ast }={\theta }_k+\frac{1}{{\lambda }^{\ast }}{H}^{-1}(g-B{\nu }^{\ast })$$

   关系：公式12-13通过对偶形式求解公式11，将高维优化简化为低维问题。

3. 单约束解析解（定理2）

   $${\theta }^{\ast }={\theta }_k-\frac{1}{{\lambda }^{\ast }}{H}^{-1}(g+{\nu }^{\ast }b)$$

   关系：特化公式13，针对单约束提供解析解，简化计算。

4. 恢复策略（公式14）

   $${\theta }^{\ast }={\theta }_k-\sqrt{\frac{2\delta }{b^T{H}^{-1}b}}{H}^{-1}b$$

   关系：当公式11不可行时，沿约束梯度恢复，保持KL散度约束。

5. 成本整形（公式15）

   $$C_i^{+}(s,a,s^{\prime })=C_i(s,a,s^{\prime })+{\Delta }_i(s,a,s^{\prime })$$

   关系：修改约束成本，增强公式11约束的鲁棒性，支持推论2的上界。

总结：公式11近似公式10，公式12-13和定理2高效求解，公式14处理错误，公式15提高鲁棒性，共同实现CPO算法。

总体联系

第5部分的理论界限（引理2 → 定理1 → 推论1-3 → 命题1-2 → 公式10）定义了CPO的优化框架，第6部分的公式（公式11 → 公式12-13 → 定理2 → 公式14 → 公式15）将理论转化为高效算法，确保计算可行性和约束满足。

---