基于真实世界演示训练机器人策略,不仅成本高、速度慢,还容易出现过拟合问题,进而限制其在不同任务与环境中的泛化能力。而仿真优先的方法可简化开发流程、降低风险与成本,同时部署到真实环境也将更安全、适应性更强。
最新的Isaac Lab 2.3早期开发者预览版,通过先进的全身控制、强化的模仿学习和更优的运动能力,提升了人形机器人的性能。此次更新还扩展了遥操作的数据收集功能,可支持 Meta Quest VR 和 Manus 手套等设备,加速了演示数据集的创建。此外,新版本引入了基于运动规划器的工作流,用于在操作任务中生成数据。
新增强化学习与模仿学习:Isaac Lab 2.3 为灵巧操作任务推出了多项新功能,包括用于感知和本体感知的字典观察空间,以及自动域随机化(ADR)和群体训练(PBT)的技术,以提高强化学习训练的可扩展性。
Isaac Lab 2.3 还新增了带吸盘夹具的基准测试环境,可支持吸盘与传统夹具两种操作模式。本次更新在基于管理器的工作流中加入了针对 CPU 端平面夹具的支持,以强化模仿学习功能。
优化升级的灵巧操作遥操作功能:Isaac Lab 2.3 新增对宇树 G1 机器人的遥操作支持,可对宇树三指灵巧手和 Inspire 五指灵巧手进行动作映射。灵巧动作映射指将人手姿态转换为机器人手部关节位置的过程,可实现高效的人机技能迁移,提升接触密集型手部任务的执行表现,并为训练稳健的操作策略生成丰富的演示数据。本次更新还针对傅利叶 GR1T2、宇树 G1 等双臂机器人,改进了上半身控制。
引入无碰撞运动规划技术,助力操作数据生成:在最新版的 Isaac Lab 中,开发者可以使用 Isaac Lab Mimic 中的 SkillGen 来生成演示。SkillGen 工作流能生成自适应、无碰撞的操作演示。它将人工提供的子任务片段与 GPU 加速运动规划相结合,使得只需少量的人工演示,就能学习现实世界中接触密集型操作任务。
移动机器人的端到端导航:开发者现可利用 Isaac Lab 中的移动工作流对NVIDIA COMPASS进行后训练。NVIDIA COMPASS 是基于视觉的通用移动工作流,适配不同类型机器人与多样环境。该工作流包括三个环节:在 Isaac Sim 中进行合成数据生成、训练移动模型,以及最终部署到NVIDIA Jetson Orin或NVIDIA Thor。通过 Cosmos Transfer 技术优化合成数据,可以有效缩小仿真与现实的差距。
人形机器人移动操作的合成数据生成:移动操作是指移动与操作的协同执行:机器人在移动机身(行走或滚动)的同时,对物体实施动作(抓取、推动或拉动),形成全身协同作业体系。该工作流通过整合导航与全身控制器(WBC),生成移动与操作协同合作的机器人任务演示数据。借助这一方案,机器人能够执行复杂且连续的任务,例如从桌面抓取物体、穿越空间,再将物体放置到其他位置。
策略评估框架:NVIDIA 正与光轮智能共同开发NVIDIA Isaac Lab – Arena。这是一款用于可扩展仿真实验的开源策略评估框架。借助该框架的 API,开发者无需自行搭建系统,即可简化并执行复杂的大规模评估任务。这意味着开发者既能专注于策略迭代,也能向社区贡献评估方法,进而加速机器人研究领域的研发进程。
基础设施支持:Isaac Lab 2.3 现支持搭载 NVIDIA GB10 Grace Blackwell 超级芯片的 NVIDIA RTX PRO Blackwell 服务器与 DGX Spark 系统。无论是 RTX PRO 还是 DGX Spark,均为研究人员提供了卓越平台,可支撑从训练、合成数据生成到机器人学习与仿真等各类机器人开发工作负载的实验、原型开发与运行。
-
机器人
+关注
关注
213文章
30654浏览量
219925 -
NVIDIA
+关注
关注
14文章
5513浏览量
109173 -
仿真
+关注
关注
54文章
4416浏览量
137756
原文标题:在 NVIDIA Isaac Lab 2.3 中使用全身控制和增强遥操作,简化机器人学习
文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
NVIDIA Isaac Lab推动机器人技术突破
NVIDIA 发布三大利器,推动人形机器人迈向新纪元
NVIDIA展示机器人领域的研究成果
NVIDIA Isaac Lab可用环境与强化学习脚本使用指南
通过NVIDIA Cosmos模型增强机器人学习
NVIDIA Isaac Sim和Isaac Lab现已推出早期开发者预览版
NVIDIA Isaac Sim与NVIDIA Isaac Lab的更新
NVIDIA Isaac 是英伟达推出的综合性机器人开发平台
智元机器人基于NVIDIA Isaac GR00T打造高效仿真数据采集方案

NVIDIA Isaac Lab 2.3新增功能助力简化机器人学习
评论