迈向群体智能-具身大小脑协作框架RoboOS及具身大脑RoboBrain
迈向群体智能-具身大小脑协作框架RoboOS及具身大脑RoboBrain
智源研究院在2025中关村论坛“未来人工智能先锋论坛”上发布首个跨本体具身大小脑协作框架RoboOS与开源具身大脑RoboBrain,可实现跨场景多任务轻量化快速部署与跨本体协作,推动单机智能迈向群体智能,为构建具身智能开源统一生态加速场景应用提供底层技术支持。
增强长程操作任务能力,打造感知-认知-决策-行动闭环
具身大脑RoboBrain融合了机器人任务规划、可操作区域感知、轨迹预测的三维能力,通过将抽象指令映射为具象动作序列,增强长程操作任务的能力。
RoboBrain由三个模块组成:用于任务规划的基座模型、用于可操作区域感知的A-LoRA模块和用于轨迹预测的T-LoRA模块。在推理时,模型首先感知视觉输入,并将输入指令分解为一系列可执行的子任务,然后执行可操作区域感知和轨迹预测。RoboBrain采用多阶段训练策略,使其具备长历史帧记忆和高分辨率图像感知能力,进而提升场景感知和操作规划的能力。
在任务规划方面,RoboBrain在不牺牲通用能力的前提下,在机器人规划评测集OpenEQA、ShareRobot(自建)和RoboVQA上多个维度优于GPT-4V、Claude3等6个当时领先的闭源/开源MLLMs。
目前,RoboBrain能够解读人类指令和视觉图像,以生成基于实时图像反馈的行动计划和评估,预测每一步的轨迹并感知相应的可操作区域。具体而言,RoboBrain能够有效利用环境信息和交互对象的状态——无论是从第一人称还是第三人称视角捕捉的图像——生成针对不同类型机器人操作任务的任务规划,并基于人类指令和视觉信息,提供合理的可操作区域,并能在不同场景中表现出良好的泛化能力,生成既可行又合理的轨迹。
具身大脑RoboBrain、小脑技能库以及跨机器人数据中枢,是跨本体框架RoboOS的核心要素。具身大脑RoboBrain,负责全局感知与决策,构建动态时空感知、规划指导和反馈纠错机制;小脑技能库,负责低延迟精准执行,实现柔性与精密操作等;跨机器人数据中枢,负责实时共享空间、时间和本体记忆,为决策规划与优化协作操作提供信息支持,从而形成感知-认知-决策-行动的闭环。
一脑多机实现跨本体协作,从单体智能迈向群体智能
跨本体具身大小脑协作框架RoboOS,基于“大脑-小脑”分层架构,通过模块化设计、智能任务管理和跨本体协作,为机器人提供高效、灵活、可扩展的底层支持,实现从单机智能到群体智能的跃迁。
在RoboOS的分层架构下,具身大脑RoboBrain的复杂场景感知与决策能力,可与小脑技能库的高效执行能力深度结合,确保协作框架在长周期、高动态任务中的稳定运行。实现大脑模型(如LLM/VLM)与小脑技能(如抓取、导航)的“即插即用”
通过共享记忆系统(空间记忆/时间记忆/本体记忆),实现多个机器人之间的状态同步与智能协作,突破传统“信息孤岛”限制,实现跨本体协作控制。
“即插即用”快速轻量化泛化部署,打造统一生态
RoboOS 作为面向多机器人系统的跨本体具身大小脑协作框架,专为解决当前具身智能落地过程中的通用性适配与多机调度难题而设计。针对异构本体难以统一接入、任务调度效率低、缺乏动态错误反馈机制等痛点,基于RoboOS 的“大小脑协同”的架构范式,云端的具身大脑RoboBrain负责统一的任务理解、规划决策与上下文感知,本体侧则接入轻量级的小脑执行模块,实现感知-认知-决策-行动的闭环协作。
借助RoboOS的端云一体化协同能力与动态调度机制,整个系统不仅具备高度的扩展性与可迁移性,更为未来具身智能的规模部署与生态构建奠定了通用操作系统级的基础
RoboOS基于智源研究院研发的并行训练与推理框架FlagScale,原生支持多机器人系统的端云协同能力,打造具身智能的统一底座。系统在设计上充分考虑“多机器人-多模态-多任务”场景,具备极高的可扩展性与低时延响应能力。
在端侧部署中,机器人注册即可自动与云端部署的RoboBrain大脑建立双向通信链路,通过高效发布-订阅机制实现实时任务调度与状态反馈,指令响应延迟低于10ms,满足复杂动态任务的闭环控制需求。
面向机器人在长期运行中产生的海量感知与行为数据,RoboOS 提供基于内存优化的数据访问引擎,支持TB级别历史数据的内存随机访问能力,为任务复现、异常回溯、跨任务知识迁移等场景提供基础能力。结合 RoboBrain 的任务推理与策略优化模块,历史数据还可用于多机之间的协作知识共享,实现更强的智能演化与自主学习能力。
此外,FlagScale作为底层支撑框架,支持大模型在多设备间的并行推理与多任务协同调度,可无缝集成视觉语言模型、轨迹生成模块、感知识别等子系统,全面释放具身大模型的系统潜力。