CLONE：用于长距离任务的闭环全身人形机器人遥操作

25年5月来自北理工、北京通用 AI 及其和宇树机器人的联合实验室、北大武汉 AI 的论文“CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks”。

人形机器人遥操作在演示和收集复杂的人形场景交互数据方面发挥着至关重要的作用。然而，目前的遥操作系统面临着严重的局限性：它们将上半身和下半身的控制分​​离以保持稳定性，限制了自然协调性，并且在没有实时位置反馈的情况下进行开环操作，从而导致累积漂移。根本的挑战是在保持精确全局定位的同时，实现长时间精确、协调的全身遥操作。本文展示一种基于 MoE 的遥操作系统 CLONE，该系统具有闭环误差校正功能，可实现前所未有的全身遥操作保真度，仅使用 MR 耳机的头部和手部跟踪，即可在长距离轨迹上保持最小的位置漂移。与以前那些要么牺牲协调性来换取稳定性，要么遭受无限制漂移的方法不同，CLONE 可以学习各种运动技能，同时通过实时反馈防止跟踪误差累积，从而实现复杂的协调动作，例如“从地上捡起物体”。这些成果为长距离人形机器人场景交互任务的全身人形机器人遥操作树立里程碑。

CLONE如图所示：

在复杂环境中导航时无缝协调全身运动的能力代表了人类最非凡的能力之一 [1, 2]。从蹲下从地上捡拾物体到携带物品穿过房间，人类可以轻松地将运动和操控结合在一起，而这对于机器人来说仍然具有挑战性 [3– 7]。人形机器人（以下简称“类人机器人”）凭借其与人类相似的形态，有望复制这些能力——有可能实现从家庭护理到危险环境中作业等各种应用，在这些应用中，类似人类的灵活性和机动性至关重要 [8–12]。然而，要实现这一潜力需要解决一个根本性的挑战：实现直观而精确的远程操作，并在长时间内保持全身协调。诸如在操控物体的同时，导航到远距离位置等长时任务，不仅需要时刻稳定性，还需要在动作执行和全局定位方面保持持续的准确性。目前的远程操作方法无法满足这些要求，导致人类操作员与类人机器人之间存在巨大的能力差距。

类人机器人远程操作和局部操控方面的最新进展 [13–20] 取得了显著进展。然而，现有方法仍难以实现长时间的精确远程操作，并且缺乏类人机器人与场景交互所必需的全身协调能力。弥合这一能力差距仍面临两大根本挑战。

第一个挑战在于实现协调一致的全身协调。许多系统为了保持稳定性而将上半身和下半身控制分离 [18, 21]，牺牲了流畅运动所需的自然协同作用。虽然这种分离提供了安全性，但它从根本上限制了诸如行走时伸展身体或在操控过程中调整姿势等综合动作。依赖于运动捕捉数据的替代方法 [13, 15, 19, 22–27] 通常以牺牲表现力为代价来强调稳定性，从而产生受训练数据分布约束的保守运动。此外，这些方法始终忽略了诸如手部方向等对灵巧任务至关重要的关键因素，进一步限制了人形机器人进行复杂全身运动的潜力。

第二个挑战是由于缺乏关于机器人在环境中实际位置的实时反馈，位置漂移会随时间累积。与采用简单里程计的轮式机器人不同，人形机器人表现出复杂的足地相互作用和非完整动力学，这使得精确的状态估计变得复杂。如果没有闭环校正，细微的位姿误差会随着每一步而累积，逐渐降低操作员的空间感知和控制能力，最终导致任务彻底失败。在需要相对于环境物体精确定位的操作任务中，这种漂移尤为严重。
为了应对上述在需要全身协调和精确定位的人形机器人长视域任务中遇到的挑战，提出 CLONE。如图所示，CLONE 是一个闭环全身遥操作系统，结合基于学习的协调和实时反馈校正。系统采用混合专家 (MoE) 架构，学习协调各种运动技能，同时基于激光雷达的误差校正机制可防止位置漂移的累积。至关重要的是，CLONE 仅需通过单个商用混合现实 (MR) 头显进行头部和手部追踪，使其易于在现实世界部署，同时在长视距任务中实现前所未有的保真度。

操作框架 CLONE 能够捕捉来自远程操作员的一组极简控制信号，这些信号仅由双腕的 6D 姿态（位置和方向）以及头部的 3D 位置组成，并使用 AVP 头戴式设备进行追踪。这三个点（另见如图所示）构成完整的控制界面，提供了一种直观而强大的方法来控制人形机器人的全身运动，同时保持简单的设置，无需额外的硬件或复杂的标定程序。

CLONE 通过互补的组件解决了两个基本挑战。首先，开发一种“师生策略学习”方法，将这些稀疏的控制信号转化为协调的全身运动。其次，实施一种闭环误差校正机制，可在长时间操作期间保持位置精度。该系统由精心设计的奖励结构和随机化技术提供支持，并在新近整理的数据集 CLONED 上进行训练，以确保其强大的泛化能力。

策略学习

其采用师生训练策略来训练远程操作策略，遵循 OmniH2O [19] 的总体框架。该方法首先使用特权信息训练教师策略，然后将这些知识提炼为仅使用真实世界观察结果进行操作的学生策略。

关键挑战在于如何在单一策略中处理多种运动模式。行走需要与蹲伏或伸手不同的控制策略，然而传统的单体架构难以应对这些相互冲突的目标。如上图所示的 MoE 架构可解决这个问题，该架构允许针对不同的运动类型进行专门处理。

MoE 设计由 L 个层组成，每个层包含 N 个专家，这些专家作为具有不同参数的独立前馈子层运行。在每一层，路由器都会根据输入动态选择要激活的专家，从而生成所有专家的权重分布。该层的输出结合路由权重最高的前 k 个专家，w_i 是第 i 个选定专家的路由权重，E_i(·) 是第 i 个专家的输出。这种设计使不同的专家能够专注于不同的运动模式。为了防止模型崩溃到只剩下少数专家，引入一个平衡损失函数来鼓励均匀的专家选择。

闭环误差校正

传统的人形机器人遥操作系统采用开环配置，位置跟踪中的微小误差会随着时间的推移而累积，导致长时间操作期间出现显著的漂移。这一根本性限制在需要持续定位精度的长视域任务中尤为突出。为了应对这一挑战，实施一种闭环误差校正机制，持续监测并补偿遥操作员和人形机器人之间的位置差异。

该方法利用激光雷达里程计来保持人形机器人和遥操作员的精确全局位置估计。采用 FAST-LIO2 [28] 算法，该算法通过迭代卡尔曼滤波器将惯性测量单元 (IMU) 和激光雷达数据紧密耦合，即使在动态运动过程中也能提供稳健的实时状态估计。这种选择确保从步行到复杂操作任务等各种运动模式下可靠的跟踪性能。

该系统跟踪两个智体的全局位置：人形机器人的位置 p 由机载传感器计算得出，而遥控操作员的位置 pˆ 则通过配备类似里程计流程的 MR 硬件进行类似跟踪。学生遥控策略直接利用 p 和 pˆ 之间的差异，使其能够生成能够系统性地减少位置漂移并保持操作员与人形机器人之间准确对应的动作。

奖励设计和域随机化

以 OmniH2O [19] 中的奖励项和域随机化为基础，并针对现实世界中的遥控操作挑战进行特定的增强。

利用正向运动学，基于随机化的头部位置计算其他身体位置，同时定期重置和限制最大偏差，以避免不切实际的漂移。

由于 CLONE 仅提供上肢参考（头部和腕部），必须在没有明确指导的情况下生成合适的下肢行为。为了应对这一挑战，采用对抗性运动先验 (AMP) 奖励 [65] 来规范下肢运动，并鼓励自然、稳定的行为。通过这种特定领域随机化和奖励设计的结合，CLONE 学会生成稳健的下肢行为，同时保持与操作员指令一致的精确上肢控制。

CLONED 数据集

CLONED 训练数据集包含三个互补的部分，以支持稳健的全身远程操作。它们包括：(i) 一个增强的 AMASS [29] 子集，包含 149 个精选序列，这些序列具有不同的上半身和下半身运动组合，并通过有针对性的运动编辑进行增强，以增加构图多样性和策略泛化能力；(ii) 使用基于 IMU 的 Xsens MoCap 系统捕获的 14 个自定义序列，以填补覆盖范围的空白，强调对操作至关重要的连续过渡和多样化的上半身姿势；(iii) 通过程序生成的 6D 腕部目标系统地增强手部方向，并通过球面线性插值 (SLERP) 进行平滑处理，以确保远程操作时手部运动的连贯性和自然性。

通过全面的实验在 Unitree G1 实体人形机器人上评估 CLONE，证明其卓越的全身运动保真度和精确的位置跟踪能力。实验重点关注两项关键能力：(i) 扩展遥操作期间的全局位置跟踪精度，以验证闭环误差校正机制；(ii) 跨多种技能的全身运动跟踪保真度，以展示机器人的协调能力。这些实验共同验证了该方法在现实世界人形机器人远程操作中的技术性能和实际适用性。

全球位置跟踪：为了评估远距离全球定位精度，设计一个受控路径跟踪实验。为操作员和机器人标记固定的初始位置，然后让操作员在远程操作机器人的同时，沿着直线路径行走至3米、6米和8.9米距离处的目标位置。将机器人的最终位置与预期位置之间的差异作为跟踪误差进行测量，每个条件重复十次。

CLONE 的平均跟踪误差为5.1厘米，在8.9米处的最大偏差为12.0厘米，如图所示。如此定位精度证明 CLONE 的闭环误差校正系统能够有效减轻远程操作过程中累积的位置误差。

统计分析证实了在所有测试距离上均具有一致的跟踪性能。独立样本 t-检验比较了距离组，结果如下：3米对6米（t = 0.165，p = 0.871）以及6米对8.9米（t = 0.048，p = 0.963）。所有p值均大于0.05，CLONE在整个测试范围内均未显示出明显的性能下降，这表明其方法在较长的距离内保持了较高的精度，并且没有漂移累积。

全身运动跟踪如图所示，CLONE成功实现各种全身技能的实时远程操作。该机器人可以准确跟踪复杂的动作，包括挥手、下蹲、从下蹲姿势站起来和跳跃。这些结果表明，实时人形机器人远程操作具有较高的全身运动保真度，特别是对于跳跃等需要精确协调平衡控制和施力的动态技能。

长距离混合导航：为了验证系统在复杂场景下的性能，进行包含多种运动类型的扩展遥操作会话。如图所示，记录一个连续的遥操作序列，其中操作员穿越一条长达 15 米的复杂路径，并融合多种运动模式，包括前进、转弯、侧移和返回初始位置。

在整个扩展序列中，机器人始终跟踪操作员的运动，并以最小的漂移返回起始位置。这一结果验证 CLONE 在结合运动和全身运动控制的扩展遥操作会话中的稳健性——这对于需要长期持续协调的实际人形机器人应用而言至关重要。