0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

「视觉原生」破局:视启未来的隐空间世界模型,与物理世界AI的OS野心

严冠君 来源:jf_93370094 作者:jf_93370094 2026-06-04 15:35 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

一、黑马落子:从看见世界到预见未来

Yann LeCun押注的世界模型路线,一匹深圳黑马也已提前落子。

他们就是视启未来——曾打造出全球第一视觉大模型Grounding DINO、DINO-X的那支团队。

他们并不满足于「看见世界」,而是正努力把AI进一步推向「预见未来」的能力边界。

现在,他们押注的是隐空间世界模型

要知道,LeCun为了这条技术路线,离开Meta、创办AMI Labs,完成10.3亿美元融资,创下欧洲史上最大种子轮纪录。

不同于主流世界模型预测下一帧画面长什么样,隐空间世界模型要求AI在更抽象的表征空间里,学习动作和世界状态变化之间的因果规律。

5月15日,在2026全球人工智能终端展暨第七届深圳国际人工智能展览会举办的「AGI前夜:大模型的觉醒时刻」论坛上,视启未来创始人张磊在主题演讲中直言:

做世界模型很难,做隐空间世界模型更难,但我们会知难而进。

wKgZPGohKtGATMlMAAgRNODPtX0674.png

二、知难而进:隐空间世界模型的核心理念与挑战

随着人工智能加速从数字世界走向物理世界,智能体面临的核心任务已经变了。

不仅要「看见」,而且要「预见」——理解因果关系,把握时空动态,在稀疏反馈与复杂约束下完成规划、决策与学习。

强化学习提供了从交互经验中学习的基本范式。大语言模型这边,从ChatGPT应用强化学习,到o系列模型以及coding能力的突破,本质上都是一系列强化学习算法应用的突破。

但物理世界的样本效率低、安全约束严、交互成本高、环境不可重置,单纯依赖在线试错的方法,难以扩展到真实场景。

张磊的判断是,真正的智能不能只停留在「看到当前状态就输出动作」的层面。

如果没有对未来状态的预想、对行动后果的预判,智能体就无法在物理世界中持续展开决策链条,也难以真正进入现实环境。

这正是世界模型的意义所在:让AI从经验数据中学习动作、状态与结果之间的因果关系,在行动前先「想象」下一步可能发生什么,为强化学习提供可扩展的内部预演空间。

在张磊看来,当前各种世界模型路线都在不同方向上推进得很快。但对于机器人和物理智能而言,一个核心挑战仍然存在:

模型学到的究竟是像素级相关性,还是可用于规划和控制的物理规律与因果关系?

模型在像素层面学习,很容易被纹理、光照、背景等细节干扰,学习效率低下,不利于学习真实的因果关系和物理规律。

这正是LeCun说「在输入空间做预测是糟糕的」的原因,也是隐空间世界模型的出发点。

Latent表征的价值在于,它可以把高维、冗余的视觉输入压缩成更抽象的状态表示,过滤掉大量与决策无关的像素细节,把学习重点放到更本质的变化规律上。

可以说,表征学习是世界模型中最为核心的问题

换句话说,隐空间世界模型不执着于「未来画面长什么样」,而更关注「世界状态如何演化」,因此更适合学习物理规律和因果关系。

wKgZO2ohKtGAbfuzAAwVuj5TECs206.png

三、视觉原生:以物体理解为核心的结构化隐空间

但视启发现,现有的隐空间方案还差了关键的一步。

大多数latent表征虽然脱离了像素,却并不真正「理解物体」。

如果模型不知道场景里哪些是独立物体、物体之间是什么关系、哪些变化来自视角、哪些变化来自交互,那么它要直接在隐空间中学习物理规律,难度仍然非常高。

原因很简单:物理规律本质上并不作用在像素上,而是作用在物体、结构和关系上。

张磊认为,latent表征必须具备理解物体的能力,才能更好地学习物理规律。

视启的解法是把物体理解能力引入latent表征学习中,通过2D感知、3D表征、分割和语义理解,让latent表征具备「世界由哪些物体构成、它们处于什么空间位置、具有什么语义属性」的基础认知,再进一步学习动作驱动下的状态转移和物理演化。

通过引入物体理解的结构信息,模型可以更高效地对数据进行压缩,从海量数据中学到内在的、更为本质的规律。

这样,模型学习的不再是黑盒式表征,而是一个更具对象性、空间性和物理性的结构化latent世界

因此,视启将自己的路线称为「视觉原生世界模型」,这也是他们和其他隐空间世界模型的关键区别。

为了实现真正可落地的物理世界模型,张磊认为,这类模型需要同时具备三个核心特征:

Object-Centric,以物体为中心
表征不能停留在像素层面,要具备对物体的理解能力,能够识别世界由哪些对象构成、它们之间如何交互。只有这样,模型才有可能从海量数据中学习到更稳定、更可泛化的物理规律,而不是停留在表面的视觉相关性上。

Action-Aligned,跨本体动作对齐。
把人手动作、机械臂操作以及不同机器人本体的数据对齐到统一表示空间,从而更高效地利用大量人类交互数据,帮助机器人更快学会如何与环境互动。

Causality-Driven,因果驱动。
世界模型要学的,是「执行某个动作之后,世界状态将如何变化」。只有具备这种因果建模能力,世界模型才能真正与强化学习结合,支持机器人在与环境持续交互中不断提升决策、学习和泛化能力。

张磊说,视启对方向的判断始终正确,只是赛道的热闹程度,确实超出了当初的预想。

不过,这反而印证了视启坚守隐空间路线的前瞻性——在所有人都往像素空间冲的时候,视启已经在更难、也更正确的方向上积累了先发优势。

四、厚积薄发:DINO系列奠基,顺势而上

张磊对于世界模型的见地,并非空穴来风。

背后是视启长期构建的以物体为中心的视觉理解能力,也是这支团队数年的积累。

视启未来,其核心团队来自粤港澳大湾区数字经济研究院计算机视觉与机器人研究中心(IDEA CVR)孵化的DINO-X团队。

团队已连续推出DINO、Grounding DINO、DINO-X等代表性工作,持续推动开放世界目标检测与物体级视觉理解的发展。

Grounding DINO已成为开放集检测的重要里程碑之一,而DINO-X则是面向开放世界物体理解的全球领先视觉大模型。

今年4月,谷歌DeepMind发表的Vision Banana论文中,多处提到视启未来的DINO-X模型。这篇论文的署名作者包括何恺明和谢赛宁,在SA-CO/Gold instance segmentation任务上,强调DINO-X是zero-shot transfer物体理解的全球SOTA

此外,DINO系列论文也广泛被Meta的SAM2/SAM3、阿里的Qwen系列、字节的Seed系列引用。这反映出视觉物体理解基模门槛极高,依赖强大的视觉基座大模型预训练能力。

自2023年以来,视启未来凭借Grounding-DINO与DINO-X系列,在开放物体理解榜单上保持了最长的连续领先时间。

有趣的是,DINO的意思是「恐龙」,恐龙也是这个团队各种模型的标志。他们还有一个基于视觉提示做物体检测的模型T-Rex2(ECCV 2024),正是恐龙家族的霸王龙。

DINO系列解决的核心问题,正是Object-Centric世界模型最需要的底层能力:让机器真正「看懂」世界由哪些物体构成、它们在哪里、它们之间是什么关系。

视启未来的路线,更强调面向真实世界交互的Object-Centric表征能力,即围绕「物体是什么、在哪里、如何被引用、如何与环境发生关系」建立统一建模能力。

在此基础上,视启未来不仅在2D物体检测与分割、3D物体理解与语义理解上建立了显著优势,也持续向3D动作理解延伸,形成了从看见物体,到理解物体,再到理解动作与物体交互的完整能力栈。

从这个意义上说,视启做世界模型并不是转型,而是在其原有技术基础上的顺势延伸。

单个模型的成功还能归因于机会,那么连续做出Grounding DINO、DINO-X等全球领先物体理解视觉基座大模型,更多说明的是团队底层能力已经成型

对一家做基础模型的团队来说,这意味着它不仅会「做模型」,更掌握了数据组织、预训练范式、能力迁移和任务扩展的系统方法,这恰恰是基模训练能力最有说服力的体现。

五、从数据引擎到OS愿景:世界模型的产业化路径

这种能力已经开始在产品上体现。5月15日,视启未来联合百度智能云在2026全球人工智能终端展上正式发布EgoTwin——全球最新的高质量Ego人手3D对齐引擎。

如果说视觉原生世界模型是视启未来的长期技术路线,那么EgoTwin就是这条路线在具身智能数据层面的第一个产品化抓手。

EgoTwin直击行业最卡脖子的难题——把人手操作数据转化为机器人能用的训练数据,数据采集效率是行业主流方案的3.75倍

更重要的是,EgoTwin并不只是一个数据采集工具:它一方面把人类Ego操作视频转化为机器人可学习的数据资产,另一方面也为世界模型提供Action-Aligned的训练底座,成为「数据引擎—模型迭代—本体落地」闭环的第一步。

更大的愿景,张磊直言:世界模型将成为物理世界AI的核心基础设施。

在他看来,数字世界中,大语言模型正在承担类似于OS(操作系统)的角色,底层是GPU算力,中间是大语言模型,上层是各种各样的Agent。这条路已经被充分验证,无论是Coding领域还是其他Agent形态,都已经证明走得通。

物理世界里,同样的范式变化正在发生。只不过,物理世界的基础设施除了算力之外,还会加入机器人本体。在这一层之上,张磊带领的世界模型团队正在打通Learning From Experience的范式,让机器人在学习过程中变得更加自主、更加高效,由此获得更强的物理任务技能。

英伟达科学家Jim Fan年初说,下一个词预测是第一种预训练范式,现在我们正在经历第二次范式转变:下一个物理状态预测。他预言,2026年将被载入史册,成为世界模型为机器人技术奠定真正基础的第一年。

张磊支持这个判断,同时强调一点:视觉,是物理智能最主要的信息入口,也是通向世界模型的关键优势方向。

视启未来长期积累的检测、识别、分割、跟踪、3D物体理解、3D动作理解与开放世界感知能力,不仅让机器更好地「看见」世界,也为其进一步建模世界、预演未来、支撑行动提供了坚实基础。

六、名师高徒:一支能打硬仗的世界级团队

要做世界级的模型,首先得有世界级的团队。

视启未来创始人兼CEO张磊,是这支团队最重要的底色。

张磊博士师承中国人工智能奠基人张钹院士,并曾长期在计算机科学与人工智能领域世界级专家、美国国家工程院外籍院士沈向洋先生领导下工作。作为IEEE Fellow,他累计发表200余篇顶级会议和期刊论文,Google Scholar总引用已超过7.3万次。他曾在微软亚洲研究院、微软总部研究院及计算机视觉相关产品部门任首席研究员,带领研究组从事计算机视觉基础研究及其在大规模图像分析、物体检测、视觉语言多模态理解方面的应用,研究成果被广泛用于微软必应搜索及认知服务云计算平台。

值得一提的是,张磊博士深造之前,是国内最早一批参与室内移动机器人研究的人员之一。绕了一个大圈,从机器人到计算机视觉,再从视觉回到机器人,这条轨迹并非偶然,而是他对物理世界AI判断的一贯逻辑在驱动。

2021年,张磊加入IDEA研究院,带领团队研发DINO-X视觉大模型,为机器赋予物体级理解能力。随后其孵化视启未来,将这套能力推向世界模型赛道。

视启未来还邀请了张钹院士、沈向洋院士担任科学顾问。团队核心成员主要来自清华大学、微软、腾讯等顶尖高校与国内外科技大厂。据视启透露,团队中约50%具有清华背景,约20%拥有智能驾驶相关经验,80%为90后青年人才,100%具备海外或国内头部科技企业经历

近期,视启在北京进一步吸引了多位国内机器人和强化学习方向的优秀年轻算法人才加入。他们的主动选择加入,本身就是一种投票——投的是视启在世界模型方向上的技术判断,也是他们对这支团队能够再创辉煌的信心。

做世界模型很难,做隐空间世界模型更难。

曾经做出世界第一视觉大模型的视启团队,正把同样的信念,押注在隐空间世界模型上。

张磊和他的视启未来,正走在将隐空间世界模型贯彻到底、知难而进的路上。

四信车载通信产品推荐

四信FTV300是一款专为智能车联网领域开发的5G车载网关,集成了新一代车联网通信、定位与边缘计算能力,为车辆提供稳定可靠的网络连接服务。该产品通过5G蜂窝网络和双频WiFi构建高速数据传输通道,提供高速、不间断、安全的网络接入,为车辆管理构建可靠且易于扩展的车联网系统,全面提升管理与运营效率。产品采用抗震设计、M12接口及宽电压输入,满足各类车载应用场景的需求。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    91

    文章

    42512

    浏览量

    303438
  • 人工智能
    +关注

    关注

    1822

    文章

    50604

    浏览量

    268177
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    酷哇科技发布CooWAIM 2.0交互式世界模型

    近期,由上海交大博士团队创立的酷哇科技正式发布全新一代交互式世界模型 **CooWAIM 2.0** (基于DAWN架构),论文与代码均已全面开源。该模型首次将
    的头像 发表于 06-05 10:51 392次阅读

    NVIDIA正式推出Cosmos 3开放物理AI世界基础模型

    NVIDIA Cosmos 3 是一款全新且位居排行榜首位的开放物理 AI 基础模型,基于突破性的混合 Transformer 架构所构建,适用于物理
    的头像 发表于 06-04 10:07 436次阅读

    智行者科技发布物理AI世界模型TransWorld

    6月1日,智行者宣布公司全无人物理AI商业化运营里程累计突破1.6亿公里,迎来新的里程碑。与此同时,更为重磅的是,基于这一混合复杂物理场景的大规模数据沉淀,智行者同步官宣物理
    的头像 发表于 06-02 17:40 971次阅读

    泰芯半导体以端侧AI芯片开启物理世界智能全域链路

    AI 走出云端、走进物理世界,为什么 90% 的设备依然 “跑不动、连不远、活不久”?
    的头像 发表于 05-20 14:52 452次阅读

    美泰多模态融合+姿态感知技术,让机器真正 “读懂” 世界

    如果说传统监控是记录世界的"眼睛",那么融合了多模态融合算法与姿态估计算法的美泰解决方案,则是一颗能理解物理世界的"大脑"。它不再局限于单一的视觉
    的头像 发表于 04-29 14:59 377次阅读
    <b class='flag-5'>视</b>美泰多模态融合+姿态感知技术,让机器真正 “读懂” <b class='flag-5'>世界</b>

    小马智行发布PonyWorld世界模型2.0

    4月10日,小马智行正式发布其在物理AI领域的最新技术成果——PonyWorld世界模型2.0。
    的头像 发表于 04-10 17:21 1253次阅读

    世界知名科技史学家到访海康威共探AI发展新路径

    全球AI技术迭代加速,前沿思想不断交融。近日,世界知名科技史学家、金融史学家、《哈萨比斯:谷歌AI之脑》作者塞巴斯蒂安·马拉比到访海康威,与海康威
    的头像 发表于 03-17 14:15 527次阅读

    大晓机器人开源实时生成世界模型Kairos 3.0-4B

    近日,大晓机器人重磅开源开悟世界模型3.0(Kairos 3.0)-4B 系列具身原生世界模型。作为业内首个实现 “多模态理解 — 生成 —
    的头像 发表于 03-14 16:54 2123次阅读
    大晓机器人开源实时生成<b class='flag-5'>世界</b><b class='flag-5'>模型</b>Kairos 3.0-4B

    NVIDIA Cosmos世界基础模型如何塑造机器人未来

    在这一演进过程中,世界模型逐渐成为连接高层智能与底层执行的关键基础设施。通过对环境状态及其时间演化进行建模,世界模型使机器人系统能够在受控环境中进行仿真、训练与决策推演,从而为机器人在
    的头像 发表于 01-22 16:38 959次阅读
    NVIDIA Cosmos<b class='flag-5'>世界</b>基础<b class='flag-5'>模型</b>如何塑造机器人<b class='flag-5'>未来</b>

    物理AI之眼:当3D视觉与激光雷达成为硅基智能世界的“智瞳”

    CES2026的聚光灯下,英伟达CEO黄仁勋并未展示任何实体芯片。他向世界宣告了AI从语言理解向物理世界改造的历史性转折,并提出“物理
    的头像 发表于 01-09 16:03 2069次阅读
    <b class='flag-5'>物理</b><b class='flag-5'>AI</b>之眼:当3D<b class='flag-5'>视觉</b>与激光雷达成为硅基智能<b class='flag-5'>世界</b>的“智瞳”

    VLA与世界模型有什么不同?

    Language Action,VLA),另一些则致力于构建并应用世界模型(World Model)。这两种路径有什么不同? 什么是VLA,什么是世界模型 先说说VLA。VLA是英文
    的头像 发表于 12-17 09:13 1013次阅读
    VLA与<b class='flag-5'>世界</b><b class='flag-5'>模型</b>有什么不同?

    世界模型是让自动驾驶汽车理解世界还是预测未来

      [首发于智驾最前沿微信公众号]世界模型在自动驾驶技术中已有广泛应用。但当谈及它对自动驾驶的作用时,难免会出现分歧。它到底是让自动驾驶汽车得以理解世界,还是为其提供了预测未来的视角?
    的头像 发表于 12-16 09:27 1130次阅读
    <b class='flag-5'>世界</b><b class='flag-5'>模型</b>是让自动驾驶汽车理解<b class='flag-5'>世界</b>还是预测<b class='flag-5'>未来</b>?

    利用NVIDIA Cosmos开放世界基础模型加速物理AI开发

    NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型(WFM)的更新,旨在加速物理 AI 模型的测试与验证数据生成。借助
    的头像 发表于 12-01 09:25 1661次阅读

    声智科技声学模型赋予AI感知物理世界

    在科技浪潮的尖端,一个新时代正悄然开启。NVIDIA创始人黄仁勋曾预言,未来通用人工智能(AGI)将不再局限于虚拟世界,而是能够与物理世界深度交互的“
    的头像 发表于 09-02 17:46 1705次阅读

    科技AI模型应用:提效、与落地,重塑智能新生态

    在这场数字化转型的浪潮中,腾科技AI模型凭借其强大的提效能力、的创新思维以及切实的落地实践,已然成为重塑智能新生态的重要力量。从企业
    的头像 发表于 08-18 14:06 1950次阅读
    腾<b class='flag-5'>视</b>科技<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>应用:提效、<b class='flag-5'>破</b><b class='flag-5'>局</b>与落地,重塑智能新生态