0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

比Vision Pro还强?空间计算新品频出,2D内容空间化,VST 14ms低延迟

Monika观察 来源:电子发烧友 作者:莫婷婷 2024-07-04 00:09 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/莫婷婷)2023年,苹果发布Vision Pro,带火了“空间计算”一词。无独有偶,AR智能眼镜也有了自己的“空间计算”。当然,不仅仅是AR智能眼镜,MR头显市场或许也能在Vision Pro的影响下,迎来新的发展格局。


行业进入空间计算机市场爆发前夕
那么,什么是空间计算?空间计算利用空间感知和环境感知技术,将数字信息与物理空间相结合,创造出一种与现实世界更加融合的交互体验。在三维的世界里,用户可以感受到沉浸式的体验。

业内人士认为,移动互联网的下半场,正是空间计算机的上半场。在空间计算时代,信息的载体也从以往的智能手机转向空间计算设备,包括具备空间计算能力的MR、VR、AR设备。

在MR、VR、AR设备中,未来会如何发展呢?在前期的发展阶段,XR市场玩家多元化,没有统一的技术路径,整个行业属于百家争鸣的局面。当前业内有两种不同的技术路径,一是首先是满足功能和性能,然后再往轻便的方向发展。二是首先选择轻便,再往满足功能和性能的方向发展。

玩出梦想科技创始人黄锋认为,空间计算不可能是个三角,难以同时满足功能、性能、舒适性这三个条件。这也很容易理解,就连Vision Pro也仅仅只是实现了功能和性能这两个条件,由于在设备上集成了CPU、摄像头、传感器、高清显示屏等多个先进元器件,在舒适性上还不能完成达到100分。

XR市场经过近几年快速的发展,处理器光学显示、传感器、通信等关键技术都得到了快速发展,业内人士认为,行业正处于空间计算机市场爆发前夕,正由“真实视觉体验和MR”向“全面沉浸和可穿戴”过渡阶段,后者将在2027年到来,到2037年进入空间计算与机器人融合阶段。


基于VST、OST技术路径,MR、AR品牌推出空间计算新品
当前,不管是MR头显市场还是AR智能眼镜市场,都迎来了各自的空间计算产品,包括玩出梦想MR,Rokid AR Lite,XREAL Beam Pro。这三大产品都有各自的特点以及技术优势。

当前,空间计算的产品路线包括VST(视频透视)、 OST(光学透视)两种。VST是以苹果为代表的,依赖于摄像头等传感器和芯片,通过计算机图像技术呈现出来。OST是以Rokid等厂商为代表的路线,直接通过放置在眼前的半透明光学合成器看到的,再将数字内容叠加在物理世界来实现空间计算体验。

这两种产品路线各有优劣势。财通证券研究所的数据指出,VST虚实亮度易匹配,且虚实匹配一致,FOV在90°-120°之间,因为存在多方优势是当前空间计算的主流方案。而OST一般用于AR智能眼镜,在亮度、分辨率等方面具有优势,不过OST受限于光学技术,随着技术的发展,有望成为下一代的主流方案。

摄像头是VST的核心硬件。从玩出梦想的官方介绍来看,玩出梦想MR通过搭载了11颗摄像头、7 类传感器、22颗红外补光灯为空间计算效果的实现打下基础。那么,玩出梦想MR是如何打造空间计算的沉浸式体验呢?

首先从产品形态来看,玩出梦想MR是最接近苹果Vision Pro的产品,官方在发布会上也将多项指标与Vision Pro进行对比。根据官方的介绍,在硬件上,玩出梦想MR搭载了高通骁龙XR2+ Gen2芯片,该芯片采用4nm制程,GPU性能提升2.5倍,AI性能表现提升8倍,GPU功耗比提升50%。

在感知单元,玩出梦想开发了3个基本模块:跟踪、绘图和视觉,增强了混合现实世界的多样性。用户可以体验混合现实应用程序、传统安卓应用程序和跨设备交互。此外,玩出梦想还开发了AI增强的发射器,使用户能够高效简洁地处理各种数字信息。

在跟踪模块上,玩出梦想MR前后累计搭载了11颗摄像头,22颗红外补光灯。通过多传感器融合+dToF,全面进行头部跟踪、手部跟踪。为了提高延迟和定位精度,玩出梦想开发了新算法,可以减少渲染延迟并执行精确的校准。头部跟踪的定位精度可以在20x10m的房间内达到亚厘米级,在直线场景中,头部跟踪的位置漂移率低于0.3%。针对手部追踪,玩出梦想MR引入了全新的手部运动大模型。
wKgaomaFI36Adyk8AAGm406SKNU628.png
不同于其他MR头显品牌,玩出梦想还提升了控制器跟踪算法的精度。同时,官方表示高精度的眼动追踪是该产品的标配。公司还在研究使用眼动追踪数据来解决瞳孔摆动问题,以增强视觉体验。

实现高质量的视觉体验对于MR至关重要,因此视觉模块要确保在3D空间中准确呈现数字内容,包括亮度、颜色等。玩出梦想 MR 的光学显示方案采用双目 8K Micro-OLED+Pancake 的方案。在PPD、像素、PPI等性能上接近Vision Pro甚至超过Vision Pro。例如双目 2700 万像素,PPI为3882,中心区域 PPD 达 45。
wKgZomaFI4WAVOlZAAEvZQU2Re4511.png
游戏是MR头显的核心娱乐之一,而时延是考验MR设备或者是AR智能眼镜游戏体验的关键。在实现高清晰度的同时,玩出梦想MR做到了VST 14ms低延迟。

与玩出梦想MR的空间计算技术路线不同,XREAL 的Beam Pro承载了空间计算能力,能够将2D应用释放到3D空间,且支持手机全生态内容空间化。例如看电影时,可以在APP选好影片,再将Beam Pro连接XREAL Air系列眼镜中,就能实现在眼镜中观影。除了娱乐,Beam Pro同样能够用于视频会议等办公室场景。

wKgaomaFI5CACDAjAAVWDzroEvQ780.png
XREAL Beam Pro(图源:XREAL)

空间计算的核心是物理世界与虚拟世界的结合。XREAL为Beam Pro打造了3D拍摄的功能,加入双目立体校正算法,让拍摄主体和背景的融入更加自然。

Rokid的 AR Lite包括Rokid Max2眼镜和Rokid Station2主机,基于环境感知、空间定位、交互识别等技术能力,该产品能够用在多个场景中。在娱乐功能上,用户还能与虚拟角色进行互动。在设计领域,用户还能在虚拟环境中进行设计产品、原型制作等。

在看电影等需要投屏的功能时,Rokid AR Lite和XREAL Beam Pro都优化了防抖功能。例如Rokid AR Lite在巨幕模式下可以开启运动模式,实现逐帧追踪防抖。XREAL Beam Pro机身侧面设置了物理按键,可以一键切换3DoF悬停/云台防抖功能。

为了进入空间计算时代,MR设备厂商和AR设备厂商选择各自的技术路线,并在差异化的基础上推出自己的产品。在AR设备市场,XREAL选择以Beam Pro作为入口,打造了新的便携式空间娱乐计算设备。Rokid则持续升级 Station系列,赋能其更强大的空间计算能力。而对于沉寂多时的MR设备行业,苹果Vision Pro的出现,也给同行带来了新的灵感。可以期待的是,接下来会有更多厂商推出“空间计算”产品,整个行业也会更加热闹。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 2D
    2D
    +关注

    关注

    0

    文章

    67

    浏览量

    15806
  • VisionPro
    +关注

    关注

    6

    文章

    21

    浏览量

    15876
  • MR
    MR
    +关注

    关注

    2

    文章

    339

    浏览量

    44286
  • Vision
    +关注

    关注

    1

    文章

    204

    浏览量

    19281
  • VST
    VST
    +关注

    关注

    0

    文章

    17

    浏览量

    11141
  • 空间计算
    +关注

    关注

    0

    文章

    15

    浏览量

    158
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    浅谈2D封装,2.5D封装,3D封装各有什么区别?

    集成电路封装技术从2D到3D的演进,是一场从平面铺开到垂直堆叠、从延迟到高效、从低密度到超高集成的革命。以下是这三者的详细分析:
    的头像 发表于 12-03 09:13 129次阅读

    国内首颗5nm MR芯片问世: Chiplet架构、9ms P2P延迟打破纪录

    )正式发布三款自主研发的空间计算芯片——极智G-X100、极眸G-VX100与极颜G-EB100。   其中,旗舰产品极智G-X100作为中国首颗5nm制程全功能空间计算MR芯片,填补
    的头像 发表于 12-01 00:53 5555次阅读

    中国首颗全功能空间计算芯片发布 极智G-X100 5nm工艺

    甬江实验室孵化的宁波万有引力电子科技是全球唯一全栈空间计算解决方案提供商;在11月27日,宁波万有引力电子科技在2025空间计算产业大会上发布了中国首颗全功能
    的头像 发表于 11-29 10:59 1771次阅读
    中国首颗全功能<b class='flag-5'>空间</b><b class='flag-5'>计算</b>芯片发布 极智G-X100 5nm工艺

    ALVA推出“ AI + 空间计算智能运维平台

    市场规模正以指数级速度扩张,中国以 38% 的全球占成为最大需求国。 9 月 18 日,以 2025 华为 HC 大会为契机,ALVA 与华为智算服务团队进行了务实而高效的交流,深入探讨在空间智能领域的合作。 ALVA 作为 AI + 
    的头像 发表于 10-12 14:35 1735次阅读

    逐点半导体发布人工智能SpacialEngine®空间媒体技术平台 沉浸式遨游3D空间

    处理和空间媒体领域的深厚积累,率先探索从二维媒体到三维模型重建与AI实时渲染的可能性。未来可提供从终端设备到云端的跨平台空间计算解决方案,实现从内容创作到
    的头像 发表于 09-30 09:45 336次阅读
    逐点半导体发布人工智能SpacialEngine®<b class='flag-5'>空间</b>媒体技术平台 沉浸式遨游3<b class='flag-5'>D</b><b class='flag-5'>空间</b>

    空间计算是如何运作的?它有哪些优势?

    空间计算将数字数据与物理世界实时融合,通过增强现实和虚拟现实头显或智能眼镜等设备、增强混合现实交互。
    的头像 发表于 07-02 09:14 919次阅读

    TechWiz LCD 2D应用:不同结构下的VT曲线

    我们可以在TechWiz LCD 2D软件中调整电极的宽度,锥度,厚度和位置。 1. 案例结构 2. 建模过程 2.1在TechWiz LCD 2D中创建结构 2.2将com电极两个掩膜的宽度均
    发表于 06-13 08:44

    Techwiz LCD 2D应用:二维LC透镜建模分析

    光学系统中一个很有前景的研究领域。在有限的空间内改变焦距是可能的,因为LC材料的折射率可以通过施加电压来调节。在LC透镜结构中,可以通过TechWiz LCD 2D进行光程差和焦距的计算,以及包括施加
    发表于 05-30 08:47

    LITESTAR 4D应用:室内篮球场照明

    (包括领边区域) 篮网的高度为 3 米,领边为 5 米 安全空间为领边两侧各为 5 米,两端各约为 4 米。 在场馆周围安置观众席和相关设施。 设计方案 (截取部分报表) 场景数据/灯具信息: 2D俯视图 : 2D后视图 :
    发表于 05-27 08:45

    HT 可视监控页面的 2D 与 3D 连线效果

    HT 是一个灵活多变的前端组件库,具备丰富的功能和效果,满足多种开发需求。让我们将其效果化整为零,逐一拆解具体案例,帮助你更好地理解其实现方案。 此篇文章中,让我们一起深入探讨 2D 与 3D
    的头像 发表于 04-09 11:28 1113次阅读
    HT 可视<b class='flag-5'>化</b>监控页面的 <b class='flag-5'>2D</b> 与 3<b class='flag-5'>D</b> 连线效果

    STM8/STM32 products有2D marking和没有2D marking的工艺有差别吗?

    请教下,STM8/STM32 products 有2D marking 和没有2D marking的工艺有差别吗?同一程序在使用时有2D标识的不能用。
    发表于 03-07 07:21

    英特尔Gaudi 2D AI加速器助力DeepSeek Janus Pro模型性能提升

    Pro模型进行了深度优化。 这一优化举措使得AI开发者能够以更低的成本和更高的效率实现复杂任务的部署与优化。英特尔Gaudi 2D AI加速器通过其卓越的计算能力和高度优化的软件栈,为Janus
    的头像 发表于 02-10 11:10 927次阅读

    DeepSeek发布Janus Pro模型,英特尔Gaudi 2D AI加速器优化支持

    Gaudi 2D AI加速器现已针对该模型进行了全面优化。这一优化举措使得AI开发者能够更轻松地实现复杂任务的部署与优化,从而有效满足行业应用对于推理算力的迫切需求。 英特尔Gaudi 2D AI加速器的优化支持,为Janus Pro
    的头像 发表于 02-08 14:35 913次阅读

    TechWiz LCD 2D应用:不同结构下的VT曲线

    我们可以在TechWiz LCD 2D软件中调整电极的宽度,锥度,厚度和位置。 1. 案例结构 2. 建模过程 2.1在TechWiz LCD 2D中创建结构 2.2将com电极两个掩膜的宽度均
    发表于 02-06 10:18

    灵伴科技参编《空间计算发展报告(2024)》发布

    近日,元宇宙标准大会暨工业和信息部元宇宙标准化工作组年会在江西南昌举办。会议期间《空间计算发展报告(2024)》(以下简称《报告》)正式发布。灵伴科技作为参编单位之一,展示了其在
    的头像 发表于 12-20 14:03 1500次阅读