NVIDIA 发布面向物理 AI 的开源智能体工具和技能集合

新闻摘要：

·NVIDIA 发布了涵盖 NVIDIA Omniverse、Cosmos、Alpamayo 和 Metropolis 的物理 AI 智能体技能和工具的开源集合，用于机器人、智能汽车、视觉 AI 和工业数字孪生领域。

·全新物理 AI 技能将复杂的物理 AI 训练、评估和部署工作流转化为可重复、优化的、智能体可执行的指令。

·包括 Agile Robots、Cadence、达索系统、台达电子、Foxconn、和硕、PTC、西门子、新思科技以及台积电在内的行业领导者，都正在使用 NVIDIA 物理 AI 工具来加速物理 AI 开发。

NVIDIA GTC 台北 —— 2026 年 6 月 1 日 —— NVIDIA 今日宣布推出开源物理 AI 技能与工具集合，以帮助开发者将复杂的机器人、智能汽车、视觉 AI 和工业数字孪生工作流转换为智能体可执行的任务，从而降低大规模构建物理 AI 工作流的成本、时间和复杂性。

随着 AI 智能体从编写代码转向协调整个开发任务，物理 AI 成为下一个前沿领域。作为 NVIDIA Agent Toolkit 的一部分，NVIDIA 物理 AI 技能让智能体能够使用 NVIDIA 库、模型和框架，以加速机器人、辅助驾驶、工厂和实验室背后的数据生成、仿真、训练、评估和部署流程。

NVIDIA 创始人兼首席执行官黄仁勋表示：“AI 智能体正在彻底改变软件开发，而这一转变正迈向物理 AI，并进一步扩展到那些将改变交通、制造、医疗和机器人技术的系统中。当智能体可以直接使用 NVIDIA 库、模型和框架时，物理 AI 开发速度将大幅提升，使开发者能够以惊人的速度构建未来的机器人、智能汽车和工业系统。”

用于物理 AI 开发的代理就绪型工具和技能

NVIDIA 正通过将库、模型和框架转换为可由智能体调用的工具，来优化整个物理 AI 堆栈。其中包括用于物理世界推理和生成的世界基础模型 NVIDIA Cosmos™、用于仿真和数字孪生的 NVIDIA Omniverse™ 库、用于机器人仿真和机器人学习的 NVIDIA Isaac™、用于视觉 AI 的 NVIDIA Metropolis、用于辅助驾驶的 NVIDIA Alpamayo，以及用于边缘 AI 开发的 NVIDIA Jetson 平台。

为帮助开发者应用这些工具，NVIDIA 正推出全新技能并作为 NVIDIA Agent Toolkit 的一部分，可将物理 AI 开发流程转化为编码智能体可遵循的重复执行的指令。这包括调用哪些工具、生成哪些输出，以及开发者如何验证结果。

开发者还可借助NVIDIA NemoClaw™ 蓝图和 NVIDIA OpenShell™ 运行时，利用这些技能安全地构建和部署自主智能体，后者可在本地或云端硬件上提供基于策略的安全和隐私治理。

NVIDIA 物理 AI 技能和工具正在加速代理式开发：

· 机器人和边缘 AI： 机器人开发者可以使用技能来加速整个机器人开发流程，从生成感知与移动性训练数据到仿真、实现导航训练自动化、推进机器人学习，并基于 Jetson 的边缘系统调优部署。

· 智能汽车： 辅助驾驶开发者可以通过技能引导智能体把车队获取的数据放进仿真环境进行重建，大规模生成高真实度的驾驶场景，并通过闭环强化学习扩大训练和评估覆盖范围。

· 实时视觉 AI 智能体： 对于自动检测和视频智能，智能体技能可帮助团队生成合成训练数据、微调模型、自动标记并构建能够搜索、总结和分析实时或录制视频 AI 智能体。

· 工业 AI： 工业软件开发者可以使用这些技能将工程数据转换为计算机辅助设计 (CAD) 资产，用于数字孪生仿真，从而在减少手动设置的情况下优化大型 OpenUSD 场景。

· 医疗： 在临床环境中部署自动化之前，医疗团队可以指导智能体完成医院环境数字孪生创建、仿真到现实数据生成以及软件在环策略测试。

这些技能可以组合并集成到更大的智能体系统中，使开发者能够编排和自动化复杂的工作流，例如数据生成、仿真、优化、推理调优、持续评估等。

行业领导者借助 NVIDIA 物理 AI 技术进行构建

制造、智能汽车、医疗和工业软件领域的行业领导者正在使用 NVIDIA 物理 AI 库来推进自主系统和工业 AI 的开发。

随着这些库实现智能体就绪，开发者可以使用 NVIDIA 技能帮助智能体在复杂的物理 AI 工作流中实现设置、执行和迭代的自动化。

在电子制造领域，台积电与和硕正在微调视觉检测模型。和硕使用缺陷图像生成技能生成的合成数据，将模型训练和部署时间缩短了 67%。

台达电子生成了合成缺陷数据，并使用该技能来检测金属母线上的过度焊接，将检测率提高了 17%。英业达通过集成缺陷图像生成技能开发了其观察智能体视觉检测流程，将笔记本电脑机箱制造的缺陷数据收集工作量减少了 30%。Foxconn 与 DeepHow 合作，利用该技能尽早发现错误来提高制造效率，将一次通过率提高了约 3%。

在辅助驾驶领域，理想汽车、千里科技和元戎启行正在使用 NVIDIA Omniverse NuRec 模型进行神经场景重建和渲染，每天生成 1,000 多个重建和超过 30 万次渲染与仿真。此外，他们也在使用新的智能体技能库，以加速并提升开发更安全、更强大的辅助驾驶系统。

在工业 AI 领域，Cadence、达索系统、西门子以及新思科技正在使用 NVIDIA Omniverse 库和技能进行工程数据检查、仿真和交互式数字孪生。PTC、MetAI 以及光轮智能正在利用 NVIDIA Isaac Sim™ 框架及基于 OpenUSD 的工作流，将 CAD 数据转化为可用于仿真的资产和环境。作为其 Autonomous Fab 2030 路线图的一部分，SK 海力士正在使用 NVIDIA Omniverse 构建半导体工厂数字孪生，并与 NVIDIA 和 SK Telecom 协作，验证 NVIDIA Agent Toolkit 用于制造业特定物理 AI。

1x、Agile Robots、Agility、FieldAI、Hexagon Robotics、NEURA Robotics、Skild AI 和 Universal Robots 等机器人行业领军企业正在使用 NVIDIA 的智能体就绪型物理 AI 堆栈，加速从数据生成到最终部署的整个机器人开发流程。

Foxconn 和仁宝在使用 NVIDIA Isaac for Healthcare 平台加速医院机器人开发。Foxconn 正在多个医院和长期护理环境中规模化部署 Nurabot，将 AI 驱动的机器人技术引入到患者护理中，并推出全新的 Scrub Nurse Collaborative Robot，帮助优化手术室工作流。仁宝也在积极推进其 PolyMedX 机器人的开发，致力于将其打造为一个覆盖全院的统筹调度平台，将仿真模拟、AI 与现实世界操作整合在一起。

可用性

NVIDIA 物理 AI 智能体工具和技能现已通过 GitHub 和skills.sh 公开推出，可与任何编程智能体一起使用。

用于合成数据生成的智能体技能和工具—— 神经重建、视频增强、缺陷图像生成 —— 现已在 NVIDIA Brev 以 Physical AI Launchable 的形式提供，可立即体验这些预配置环境集成了智能体技能和工具，以实现更快地生成和评估合成数据。

微软、CoreWeave 和Nebius 正在将这些智能体技能和工具与其云服务集成，使开发者能够简化和扩展合成数据的生成和部署。

敬请观看黄仁勋的主题演讲，在NVIDIA GTC 台北了解更多内容，并浏览以下物理 AI 主题会议。

关于 NVIDIA

NVIDIA (NASDAQ: NVDA) 是 AI 和加速计算领域的全球领导者。