当前位置: 首页 > news >正文

【数据采集+人形机器人】使用 Apple Vision Pro 对宇树(Unitree)G1 和 H1 人形机器人进行全身的遥操作控制

OpenWBT:https://github.com/GalaxyGeneralRobotics/OpenWBT/blob/main/README_zh.md

采集后的算法:https://zzk273.github.io/R2S2/ 

该项目的技术实现主要由R2S2支持。该仓库实现了使用 Apple Vision Pro 对宇树(Unitree)G1 和 H1 人形机器人进行全身遥操作控制,该系统不仅支持实机也能使用户在仿真中遥操,基于该系统只需要一个遥操员就可以控制机器人像人一样运动、蹲、弯、抓,搬等,大幅度扩展了机器人作业空间以实现更多任务。

在这个项目中,遥操作可分为下半身控制与上半身控制两部分。针对下半身控制,我们的方法允许使用者通过一对摇杆控制器来操控人形机器人行走或改变身体姿态。而上半身控制方面,机器人手部动作是通过逆向运动学算法,从VR设备捕捉到的人手位姿数据计算得出的。

 数据采集后使用RSS2算法进行训练

2505_R2S2:Unleashing Humanoid Reaching Potential via Real-world-Ready Skill Space 通过现实可用的技能空间释放类人机器人到达能力潜力

  • Unleashing:释放、激发

  • Humanoid Reaching Potential:类人机器人在 reaching(到达目标)的潜力

  • via:通过

  • Real-world-Ready Skill Space

    • Skill Space:技能空间(可以是一个表示“不同技能组合”的控制空间)

    • Real-world-Ready:可直接部署到真实世界的、具备现实可行性的

效果

遥控

训练后自主运动

算法结构

 1)我们将复杂的WBC运动技能分解为原始技能的库,每个技能分别进行了调整和SIM2REAL。 2)我们将多种原始技能整合到具有各种信息瓶颈的学生政策中。 3)我们培训高级规划政策,以从R2S2进行采样,从而有效,稳定地完成现实的目标任务。

http://www.xdnf.cn/news/985447.html

相关文章:

  • RAG 处理流程
  • Linux内核学习资料-deepseek
  • AIGC 基础篇 Python基础 05 元组,集合与字典
  • 45. Jump Game II
  • OPenCV CUDA模块图形变换----构建透视变换映射表函数buildWarpPerspectiveMaps()
  • AUTOSAR实战教程--DoIP_03_ 代码分析与调用栈观测(ISOLAR版)
  • 详解多模态
  • 项目制造型企业如何实现高效管理?从金属工具制造说起
  • 【LeetCode 热题 100】只出现一次的数字 / 多数元素 / 颜色分类 / 寻找重复数
  • 建造者模式(Builder Pattern)
  • 设计模式-组合模式
  • Ubuntu20.04更新Cmake版本
  • 找到字符串中所有字母异位词
  • 使用 PyTorch 和 TensorBoard 实时可视化模型训练
  • SpringBoot学习day1-SpringBoot的简介与搭建
  • Phthon3 学习记录-0611
  • Windows 删除文件出现错误代码0x80070570:文件或目录损坏且无法读取
  • 第五章网络管理
  • vibe coding 2025工具全景图
  • 构建高效开发节奏:我的IDEA休息提醒插件实践
  • fastadmin自动保存格式datetime
  • JavaEE-SpringBoot
  • 基于SpringBoot实现的课程答疑系统设计与实现【源码+文档】
  • 【MySQL数据库 | 第四篇】 数据类型+DDL表操作1
  • 从零开始了解数据采集技术篇(2)——如何提高数据采集的精度与速度
  • ALIGN_COMMA_ENABLE参数
  • 贪心选择 (Greedy Choice)
  • 大语言模型智能体开发的技术框架与应用前景
  • 日期的数据格式转换
  • 红队手法:从web漏洞到ssh横向移动 实战方案