0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Cosmos世界基础模型如何塑造机器人未来

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2026-01-22 16:38 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在这一演进过程中,世界模型逐渐成为连接高层智能与底层执行的关键基础设施。通过对环境状态及其时间演化进行建模,世界模型使机器人系统能够在受控环境中进行仿真、训练与决策推演,从而为机器人在真实物理世界中实现可靠的感知、决策与行动闭环提供支撑。

NVIDIA Cosmos:面向物理 AI 的世界基础模型

NVIDIA Cosmos 包含一系列先进的预训练多模态模型,为开发者构建虚拟世界、实现智能推理,提供了一套灵活、可扩展的世界建模基础设施。

在 Cosmos 平台中,Cosmos Predict是面向世界状态预测的核心基础模型,通过视频级生成与预测,Cosmos Predict 使物理 AI 系统能够在给定当前观测和条件的情况下,对未来状态进行推演。其前瞻性的世界模型能力,为仿真、规划及闭环决策环节提供高效支撑。最新版本的 Cosmos Predict 2.5 能够仅基于单张图像和文本提示,生成最长 30 秒的未来世界状态视频,这一能力为物理 AI 系统提供了高质量的合成数据来源。该模型还能进一步优化机器人的迭代式策略训练场景。

智元机器人 Genie Envisioner:

基于 Cosmos 实现感知到行动的端到端闭环

基于 NVIDIA Cosmos,智元机器人近期发布了具身智能世界模型平台 Genie Envisioner(GE),系统性地打通了机器人从“感知”到“决策”再到“行动”的端到端闭环。

GE 以统一的视频生成式世界模型为核心,将策略学习、评估与仿真能力整合在同一框架之中,使世界模型能够深度参与机器人决策与控制过程,成为具身智能系统中的关键基础组成部分。

581ecea2-f6b1-11f0-92de-92fbcf53809c.png

具身智能世界模型平台 Genie Envisioner(GE)

*图片来源于 Genie Envisioner 项目网站

在 GE 的整体架构中,GE-Sim模块承担着视频级世界仿真的关键角色。该模块需要在多视角条件下生成具备物理一致性和时间稳定性的环境演化结果,同时还必须对机器人的动作指令做出准确响应。

这种动作条件世界模型(action-conditioned world model)对底层视觉先验、动态建模能力以及多步骤稳定性提出了极高要求,是具身智能从概念走向落地过程中最具挑战性的技术环节之一。

NVIDIA Cosmos Predict 2,加速 GE-Sim 迭代升级

面对物理 AI 和具身智能场景在规模、多样性与动态复杂性上的挑战,智元机器人团队引入 NVIDIA Cosmos Predict 2,为 GE-Sim 提供强大的通用视觉与物理先验能力。

通过将 Cosmos Predict 2 深度集成至自研的动作条件世界模型架构中,并结合 AgiBot World 数据集开展针对性的后训练,团队显著加快了 GE-Sim 的迭代节奏,并持续提升仿真质量与系统稳定性。

借助 Cosmos 世界基础模型的基础能力,GE-Sim 生成的多视角视频能够精准响应机器人的动作指令。Cosmos 提供的通用视觉与物理先验,使模型能够覆盖海量具身场景的多样性。在此基础上,GE 架构进一步结合机器人动作条件与任务约束,使生成结果既符合真实物理规律,又能够直接服务于机器人决策与执行。

基于 NVIDIA Cosmos 的 GE-Sim 视频仿真演示:模型根据机器人动作指令生成未来帧,并在多视角下保持高度一致性

基于 Cosmos 世界基础模型优化后的 GE-Sim,已于 2025 年 11 月正式发布并在 GitHub 开源,为具身智能社区提供了可复用、可扩展的世界仿真基础设施。

不止于仿真:Cosmos 如何塑造机器人未来?

Cosmos 世界基础模型正在成为物理 AI 的基础模型层,为机器人提供:

高质量合成数据生成,降低真实数据收集与标注成本;

安全可靠的仿真环境,支持大规模强化学习与策略调试;

可扩展的世界先验,加速不同场景的模型适配与部署。

通过将世界状态预测能力系统化、模型化,Cosmos 让机器人不仅在“感知现在”,更在“理解变化”和“推演未来”,从而在真实世界中做出更稳健、更智能的决策。

Cosmos 将持续作为世界模型的核心底座,与生态伙伴共同推动具身智能从实验室走向真实世界。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5721

    浏览量

    110219
  • AI
    AI
    +关注

    关注

    91

    文章

    41834

    浏览量

    302983
  • 模型
    +关注

    关注

    1

    文章

    3861

    浏览量

    52322

原文标题:构建物理 AI 的引擎:NVIDIA Cosmos

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA 携手全球机器人领导者,将物理 AI 带入现实世界

    基于 NVIDIA 技术,大规模开发并部署物理 AI。 NVIDIA 发布全新 NVIDIA Cosmos 世界
    的头像 发表于 03-17 11:22 725次阅读
    <b class='flag-5'>NVIDIA</b> 携手全球<b class='flag-5'>机器人</b>领导者,将物理 AI 带入现实<b class='flag-5'>世界</b>

    NVIDIA Jetson模型赋能AI在边缘端落地

    开源生成式 AI 模型不再局限于数据中心,而是开始深入到现实世界的各种机器中。从 Orin 到 Thor,NVIDIA Jetson 系列正在成为运行
    的头像 发表于 03-16 16:27 763次阅读
    <b class='flag-5'>NVIDIA</b> Jetson<b class='flag-5'>模型</b>赋能AI在边缘端落地

    大晓机器人发布开悟3.0,国产世界模型机器人拥有“超级大脑”

    机器人的使命就是让每个机器人都拥有一个聪明的大脑,洞察万物,学会与视觉精准交互。   在此背景下,大晓机器人凭借其原创的“世界模型”技术体系
    的头像 发表于 12-25 09:25 2890次阅读
    大晓<b class='flag-5'>机器人</b>发布开悟3.0,国产<b class='flag-5'>世界</b><b class='flag-5'>模型</b>让<b class='flag-5'>机器人</b>拥有“超级大脑”

    NVIDIA Jetson系列开发者套件助力打造面向未来的智能机器人

    NVIDIA Jetson AGX Thor、AGX Orin 以及 Jetson Orin Nano Super 开发者套件,助力打造面向未来的智能机器人
    的头像 发表于 12-13 10:20 3449次阅读

    利用NVIDIA Cosmos开放世界基础模型加速物理AI开发

    NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型(WFM)的更新,旨在加速物理 AI
    的头像 发表于 12-01 09:25 1584次阅读

    小萝卜机器人的故事

    代替, LED, 有大佬感兴趣, 一起关注和讨论代码, 这个机器人知名度不高, 可是是机器人的原型, 如果开放接口, 定位和无线充电, 也不失为未来的礼物。 让我们为小萝卜工程师的, 自掏腰包救萝卜
    发表于 10-23 05:24

    NVIDIA 利用全新开源模型与仿真库加速机器人研发进程

    科研人员及开发者打造功能更强大、适应性更强的机器人。   全新的 NVIDIA Isaac GR00T 开源基础模型将为机器人赋予接近人类的推理能力,使其能够拆解复杂指令,并借助已有知
    的头像 发表于 09-30 09:52 3264次阅读
    <b class='flag-5'>NVIDIA</b> 利用全新开源<b class='flag-5'>模型</b>与仿真库加速<b class='flag-5'>机器人</b>研发进程

    借助NVIDIA Cosmos模型提升机器人训练效率

    随着物理 AI 系统的不断发展,对丰富标记数据集的需求正在急速增长,已经超出了在现实世界中通过人工采集所能满足的范围。世界基础模型(WFMs)是经过训练的生成式 AI 模型,能够根据现
    的头像 发表于 09-23 15:30 1280次阅读
    借助<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Cosmos</b><b class='flag-5'>模型</b>提升<b class='flag-5'>机器人</b>训练效率

    NVIDIA三台计算机解决方案如何协同助力机器人技术

    NVIDIA DGX、基于 NVIDIA RTX PRO 服务器的 Omniverse 和 Cosmos,以及 Jetson AGX Thor,正全面加速从人形机器人
    的头像 发表于 08-27 11:48 2693次阅读

    解读NVIDIA Cosmos世界基础模型的最新功能

    人形机器人和智能汽车等新一代 AI 机器人依赖于高保真、物理感知的训练数据。如果没有多样化且具有代表性的数据集,这些系统将无法获得适当的训练,并且由于泛化性差、对现实世界变化的影响有限以及边缘案例中
    的头像 发表于 08-22 16:03 4448次阅读
    解读<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Cosmos</b><b class='flag-5'>世界</b>基础<b class='flag-5'>模型</b>的最新功能

    NVIDIA通过全新 Omniverse库、Cosmos物理AI模型及AI计算基础设施,为机器人领域开启新篇章

    NVIDIA 通过全新 Omniverse 库、Cosmos 物理 AI 模型及 AI 计算基础设施,为机器人领域开启新篇章   · 全新 NVID
    的头像 发表于 08-12 11:29 2083次阅读
    <b class='flag-5'>NVIDIA</b>通过全新 Omniverse库、<b class='flag-5'>Cosmos</b>物理AI<b class='flag-5'>模型</b>及AI计算基础设施,为<b class='flag-5'>机器人</b>领域开启新篇章

    利用NVIDIA Cosmos模型训练通用机器人

    机器人领域的一大核心挑战在于如何让机器人掌握新任务,而无需针对每个新任务和环境耗费大量精力收集和标注数据集。NVIDIA 的最新研究方案通过生成式 AI、世界基础
    的头像 发表于 08-05 16:22 2323次阅读
    利用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Cosmos</b><b class='flag-5'>模型</b>训练通用<b class='flag-5'>机器人</b>

    通过NVIDIA Cosmos模型增强机器人学习

    通用机器人的时代已经到来,这得益于机械电子技术和机器人 AI 基础模型的进步。但目前机器人技术的发展仍面临一个关键挑战:机器人需要大量的训练
    的头像 发表于 07-14 11:49 1385次阅读
    通过<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Cosmos</b><b class='flag-5'>模型</b>增强<b class='flag-5'>机器人</b>学习

    如何本地部署NVIDIA Cosmos Reason-1-7B模型

    近日,NVIDIA 开源其物理 AI 平台 NVIDIA Cosmos 中的关键模型——NVIDIA C
    的头像 发表于 07-09 10:17 1078次阅读

    NVIDIA GTC巴黎亮点:全新Cosmos Predict-2世界基础模型与CARLA集成加速智能汽车训练

    。这种向使用大模型的过渡大大增加了对用于训练、测试和验证的高质量、基于物理学传感器数据的需求。 为加速下一代辅助驾驶架构的开发,NVIDIA 发布了 NVIDIA Cosmos Pre
    的头像 发表于 06-12 10:00 1267次阅读