正在启动 URLab...

Unreal Robotics Lab (URLab)

集成 MuJoCo 物理引擎的虚幻引擎机器人仿真插件

项目介绍

机器人仿真面临着视觉保真度和物理精度之间的根本权衡。像虚幻引擎这样的高质量渲染引擎擅长于计算机视觉研究所需的逼真视觉效果，而像MuJoCo这样的专业物理引擎则提供控制算法和接触动力学所需的精度。 虚幻机器人实验室（URL）框架通过将这两个系统集成到一个统一的平台中来解决这一局限性

Unreal Robotics Lab（URLab）是一款虚幻引擎插件，将 MuJoCo 物理引擎深度嵌入编辑器与运行时环境，为机器人仿真提供研究级接触动力学能力，同时保留 Unreal 强大的渲染、蓝图脚本与编辑器工具链。

支持从 MJCF XML 导入机器人模型（或在组件层级直接构建），运行时 MuJoCo 在独立线程处理物理计算，Unreal 负责全部视觉渲染，实现高精度物理与高质量渲染的完美结合。

该框架结合了虚幻引擎的先进渲染能力——包括Lumen全局光照、Nanite虚拟几何体和Niagara粒子系统——以及MuJoCo的精确物理仿真。这种集成使研究人员能够在烟雾、火焰和动态光照等挑战性视觉条件下评估机器人系统，同时保持准确的物理交互。

URLab支持多种机器人平台，包括四足机器人、机械臂和无人机，使其适用于通用机器人研究而非特定领域应用。

系统架构图，展示了虚幻引擎渲染、MuJoCo物理和外部机器人组件之间的集成

核心架构和技术方法

URL框架作为一个虚幻引擎插件运行，其核心是一个自定义的SimManager Actor，它协调多个关键子系统。该架构保持独立的物理和渲染线程，以最大限度地提高性能，同时确保两个引擎之间的同步。

物理仿真在专用线程中以高频率（通常为1000赫兹）运行MuJoCo，而虚幻引擎的渲染则以标准帧率（60 FPS）独立运行。同步机制确保MuJoCo实体和虚幻引擎Actor之间的变换更新通过适当的锁定机制保持数据完整性。

系统架构图，展示了虚幻引擎渲染、MuJoCo物理和外部机器人组件之间的集成

场景构建过程始于虚幻编辑器，其中用于物理仿真的对象配备了UCustomPhysicsComponent。该组件负责几何体转换——使用CoACD进行复杂分解或更简单的编译器近似方法将网格转换为MuJoCo碰撞系统的凸包。虚幻引擎的地形通过用户定义边界内的多线程射线投射转换为MuJoCo的高度场。

该框架采用混合传感，其中非视觉传感器（IMU、力传感器）直接从MuJoCo获取数据以实现物理精度，而视觉传感器（相机、激光雷达）则利用虚幻引擎的渲染管线来实现逼真度。所有传感器数据都会自动发布到ROS主题，主题名称来源于机器人的XML定义，从而实现与现有机器人软件堆栈的无缝集成。

相关论文

论文标题：Unreal Robotics Lab: A High-Fidelity Robotics Simulator with Advanced Physics and Rendering

发表会议：ICRA 2026

引用格式 BibTeX：

@inproceedings{embleyriches2026urlab,
  title     = {Unreal Robotics Lab: A High-Fidelity Robotics Simulator with Advanced Physics and Rendering},
  author    = {Embley-Riches, Jonathan and Liu, Jianwei and Julier, Simon and Kanoulas, Dimitrios},
  booktitle = {IEEE International Conference on Robotics and Automation (ICRA)},
  year      = {2026},
  url       = {https://arxiv.org/abs/2504.14135}
}

使用指南

API 参考

API 文档从 C++ 头文件自动生成，覆盖插件内所有类、结构体与枚举。

Official Docs: https://urlab-sim.github.io/UnrealRoboticsLab/

第三方依赖

库 开源协议 作用
MuJoCo Apache 2.0 物理仿真引擎
CoACD MIT 凸近似分解
libzmq MPL 2.0 高性能消息通信

完整协议文本见：ThirdPartyNotices.txt

结论

Unreal Robotics Lab框架通过成功弥合照片级渲染和精确物理模拟之间的鸿沟，代表了机器人模拟领域的重大进步。实验验证展示了该平台的技术能力及其在揭示当前机器人算法在挑战性条件下重要局限性方面的实用性。

通过为研究人员提供一个能够生成多样化、可控的恶劣场景，同时保持视觉和物理保真度的工具，URL支持开发更强大的机器人系统，使其能够在不可预测的真实世界环境中可靠运行。该框架全面的基准测试能力和开源可用性使其成为推进模拟到现实迁移学习和提高自主机器人系统整体可靠性的宝贵资源。