Learning Smooth Humanoid Locomotion through Lipschitz-Constrained Policies

Learning Smooth Humanoid Locomotion through Lipschitz-Constrained Policies

研究动机

• 由于仿真中使用的简化动力学和驱动模型，所得到的模型往往接近理想化，这意味着电机可以在任何状态下产生所需的扭矩。因此，基于RL的策略在仿真中训练时，容易发展出类似于开环控制（bang-bang 控制）的抖动行为，导致连续时间步之间的动作差异显著，产生实际执行器无法产生的极高输出扭矩，这些行为往往无法转移到真实机器人上。因此，强制执行平滑行为对于成功的仿真到现实世界的转移至关重要。
• 训练过程中引入平滑性奖励是一种有效的方法，促使产生更平滑的行为。在机器人运动中，通常惩罚关节速度、关节加速度和能量消耗，或通过应用低通滤波器来平滑策略行为。然而，平滑性奖励需要仔细调整权重以平衡平滑行为与任务完成之间的关系，而低通滤波器往往会抑制或限制探索，导致在为新机器人训练控制器时需要额外的努力。

解决方案

引入Lipschitz-Constrained Policies（LCP），一种通用且可微的方法，用于鼓励RL策略发展平滑的行为。LCP通过可微的梯度惩罚在策略的输出动作与输入观察之间施加Lipschitz约束。LCP只需几行代码即可实现，并且可以轻松集成到现有的RL框架中。

技术路线

背景知识

Lipschitz连续性是一种限制函数变化速度的性质。该性质可用于描述函数平滑性，如图所示。

Lipschitz连续性。给定两个度量空间$(X,d_X)$、$(Y,d_Y)$，其中$d_X$表示集合$X$上的度量，$d_Y$是集合$Y$上的度量。如果函数$f:X\to Y$满足存在一个实常数$K$，使得对于$X$中的所有$x_1$和$x_2$，都有

$$d_Y(f(x_1),f(x_2))\le K{d}_X(x_1,x_2)$$

任何这样的$K$被称为函数$f$的Lipschitz常数。因此，如果一个函数的梯度是有界的：

$$||{▽}_{x}f(x)||\le K$$

那么这个函数$f$是Lipschitz连续的。

Lipschitz约束策略

Lipschitz约束策略是一种通过在训练过程中引入Lipschitz约束来训练产生平滑行为的策略方法。

平滑奖励可以减轻抖动行为，但奖励函数设计复杂，需要调整大量的超参数。此外，这些平滑度奖励是不可微的，因为它们是作为基础环境的一部分来实施的。通常需要通过采样方法，如策略梯度进行优化。而这项工作提出一种基于Lipschitz连续性的简单且可微的平滑度目标，用于策略优化。

$$\underset{\pi }{\max }J(\pi )$$
$$s.t.\underset{s,a}{\max }[||{▽}_{s}log\pi (a|s)|{|}^2]\le K^2$$

其中$K$为常数，$J(\pi )$为RL目标。由于计算所有状态下的最大梯度准则并不容易，因此用对策略推理过程中收集的样本的期望值来近似这一约束条件

$$\underset{\pi }{\max }J(\pi )$$
$$s.t.{\mathbb{E}}_{s,a\sim \mathcal{D}}[||{▽}_{s}log\pi (a|s)|{|}^2]\le K^2$$

其中$\mathcal{D}$是由策略收集的状态-动作对$(s_t,a_t)$组成的数据集。而后，使用拉格朗日乘数$\lambda$将约束重新形式化为惩罚项。

$$\underset{\lambda \ge 0}{\min }\underset{\pi }{\max }J(\pi )-\lambda ({\mathbb{E}}_{s,a\sim \mathcal{D}}[||{▽}_{s}log\pi (a|s)|{|}^2]-K^2)$$

为简化目标函数，将${\lambda }_{gp}$设置为手动指定的系数，由于$K$是一个常数，因此可推出一个简单的策略可变梯度惩罚。

$$\underset{\pi }{\max }J(\pi )-{\lambda }_{gp}{\mathbb{E}}_{s,a\sim \mathcal{D}}[||{▽}_{s}log\pi (a|s)|{|}^2]$$

实验结果

请阅读原文。