0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌:即时动作追踪技术让物体可以无缝的和动态的实时环境进行互动

fFU3_vrtuoluo 2018-02-08 13:41 次阅读

今日,谷歌Research团队在网站上发表博客称,为安卓上的Motion Stills(视频捕捉和观看app)增加了全新的AR模式。在AR模式下,用户只需点击屏幕就可以将有趣的虚拟3D物体放置在静止,或者移动中的水平面上(比如桌子、地板和手上),让这些物体可以无缝的和动态的实时环境进行互动。我们还可以直接录像以及导出GIF图和视频。

这一AR模式由实时动作追踪功能所实现,这是基于iOS版Motion Stills的Motion Text和YouTube上的privacy blur的技术所实现的6自由度追踪,能够精确的追踪静止和移动的物体。谷歌的团队对这一技术进行的完善和提升,使其可以在任何配备了陀螺仪的安卓设备上实现有趣的AR功能。

当用户碰触屏幕时,Motion Stills AR能够将一个3D的虚拟物体“粘贴”到指定的位置,使其看起来就像真实世界的一部分一样。通过假定跟踪表面和地平面是平行的,同时使用设备的加速传感器来提供手机相对于地平面的初始定向,可以追踪摄像头的6自由度(3个平移自由度和3个旋转自由度)。这让我们可以精确的改变和渲染虚拟物体。

谷歌:即时动作追踪技术让物体可以无缝的和动态的实时环境进行互动

即时动作追踪

即时运动跟踪的核心是将摄像机的平移和旋转估计分离,将其视为独立的优化问题。 首先,我们只根据相机的视觉信号确定3D相机的平移。 为此,我们观察目标区域的明显2D映射和跨帧的相对比例。 一个简单的针孔照相机模型将图像平面中的盒子的平移和缩放与相机的最终3D平移相关联。

谷歌:即时动作追踪技术让物体可以无缝的和动态的实时环境进行互动

为了解决这个问题,我们在我们现有的跟踪器中添加了比例估计,并在摄像机的视场之外追加了区域跟踪。 当相机靠近被跟踪的表面时,虚拟内容能够精确地缩放,这与真实世界对象的感知一致。 当你在目标区域的视场之外平移时,虚拟物体将重新出现在大致相同的位置。

在这之后,我们使用手机的内置陀螺仪来获得设备的3D旋转(滚动,俯仰和偏航)。 估测的3D对应图像与3D旋转相结合,使我们能够在取景器中正确渲染虚拟内容。 而且由于我们分别处置旋转和平移,所以我们的即时运动跟踪方法不需要校准,可以在任何带有陀螺仪的Android设备上工作。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2748

    浏览量

    106383
  • 谷歌
    +关注

    关注

    27

    文章

    5798

    浏览量

    103140
  • Ar
    Ar
    +关注

    关注

    24

    文章

    4954

    浏览量

    167234

原文标题:谷歌黑科技:仅用手机陀螺仪实现AR中动作追踪

文章出处:【微信号:vrtuoluo,微信公众号:VR陀螺】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    嘈杂环境下评估机械臂动作识别性能的策略与方法

    本文探讨了在嘈杂环境中利用机器学习技术进行机械臂动作识别的问题。通过使用视觉系统和深度学习模型,作者提出的方法在3x3网格环境中的井字棋游戏
    发表于 02-27 14:35 86次阅读
    嘈杂<b class='flag-5'>环境</b>下评估机械臂<b class='flag-5'>动作</b>识别性能的策略与方法

    动态人形机器人“夸父”通过OpenHarmony 3.2 Release版本兼容性测评

    智联场景,利用KaihongOS分布式软总线技术可以轻松地与周边设备实现互联互通,实现多设备组网和终端实时通信,以及多设备实时控制与感知 。通过识别周边
    发表于 12-20 09:31

    帕克西脸部动作追踪在各个领域的应用与影响

    帕克西脸部动作追踪采用先进的AI技术,能够实时捕捉和跟踪用户的面部动作和表情。无论是喜怒哀乐,都可以
    的头像 发表于 11-28 10:49 106次阅读
    帕克西脸部<b class='flag-5'>动作</b><b class='flag-5'>追踪</b>在各个领域的应用与影响

    动态场景下的自监督单目深度估计方案

    自监督单目深度估计的训练可以在大量无标签视频序列来进行,训练集获取很方便。但问题是,实际采集的视频序列往往会有很多动态物体,而自监督训练本身就是基于静态
    发表于 11-28 09:21 181次阅读
    <b class='flag-5'>动态</b>场景下的自监督单目深度估计方案

    无缝切换矩阵:理论与应用

    ,对无缝切换矩阵进行深入探讨。 一、理论解释 基本定义 无缝切换矩阵是一种基于云计算的视频处理技术可以将多个输入输出设备连接起来,实现音视
    的头像 发表于 08-31 16:10 293次阅读
    <b class='flag-5'>无缝</b>切换矩阵:理论与应用

    多媒体展馆中三种常见的墙面互动投影

    墨画,通过体感识别技术,感应观众触摸动作,触发投影机播放相关声音、图像、视频等数字内容,好似墙面导电了一般绚丽多彩。油墨导电互动墙将墙面变成一个无缝
    的头像 发表于 08-26 08:16 774次阅读
    多媒体展馆中三种常见的墙面<b class='flag-5'>互动</b>投影

    一个动态环境下的实时语义RGB-D SLAM系统

    大多数现有的视觉SLAM方法严重依赖于静态世界假设,在动态环境中很容易失效。本文提出了一个动态环境下的实时语义RGB-D SLAM系统,该系
    的头像 发表于 08-25 16:49 278次阅读
    一个<b class='flag-5'>动态</b><b class='flag-5'>环境</b>下的<b class='flag-5'>实时</b>语义RGB-D SLAM系统

    动态管控数采仪 数据采集传输仪

    各类监测仪器仪表、传感器、设备等实现无缝连接,进行数据采集、存储、处理、控制、告警与展示,并通过5G/4G/北斗/有线等网络将数据远传至监控中心,实现远程实时动态
    的头像 发表于 08-04 17:24 636次阅读
    <b class='flag-5'>动态</b>管控数采仪 数据采集传输仪

    基于未知物体进行6D追踪和3D重建的方法

    如今,计算机视觉社区已经广泛展开了对物体姿态的 6D 追踪和 3D 重建。本文中英伟达提出了同时对未知物体进行 6D 追踪和 3D 重建的方
    的头像 发表于 07-03 11:24 313次阅读
    基于未知<b class='flag-5'>物体</b><b class='flag-5'>进行</b>6D<b class='flag-5'>追踪</b>和3D重建的方法

    英伟达提出了同时对未知物体进行6D追踪和3D重建的方法

    一种用于新颖未知动态物体的因果 6 自由度姿态跟踪和 3D 重建的新方法。该方法利用了并发跟踪和神经重建过程的新颖共同设计,能够在几乎实时的在线环境中运行,同时大大减少了跟踪漂移。
    的头像 发表于 07-03 10:49 283次阅读
    英伟达提出了同时对未知<b class='flag-5'>物体</b><b class='flag-5'>进行</b>6D<b class='flag-5'>追踪</b>和3D重建的方法

    使用谷歌云物联网和MQTT的环境

    电子发烧友网站提供《使用谷歌云物联网和MQTT的环境站.zip》资料免费下载
    发表于 06-30 10:13 0次下载
    使用<b class='flag-5'>谷歌</b>云物联网和MQTT的<b class='flag-5'>环境</b>站

    自动驾驶关键环节——感知、决策、控制

    技术,在V2X网联通信技术的 支持下对道路、静态物体以及动态物体三个方面进行感知。
    发表于 06-02 16:04 0次下载
    自动驾驶关键环节——感知、决策、控制

    使用myCobot 280 Jeston Nano进行物体精确识别追踪

    前言 我们在YouTube上看到有人使用机械臂实现物体跟踪功能的视频时,深受启发,对这个项目产生了浓厚的兴趣,并决定独立开发一个类似的程序。 我们的目标是开发一个能够准确识别和跟踪物体的机械臂系统
    的头像 发表于 05-24 18:20 1047次阅读
    使用myCobot 280 Jeston Nano<b class='flag-5'>进行</b><b class='flag-5'>物体</b>精确识别<b class='flag-5'>追踪</b>

    机器人焊缝追踪是怎么实现实时补偿的

    随着制造业的发展,机器人焊接技术已经成为许多制造企业的重要工具。而机器人焊接技术中的关键环节之一就是焊缝追踪,它能够在焊接过程中实时检测焊缝的位置和形状,然后根据检测结果
    的头像 发表于 04-23 09:34 281次阅读

    武汉火影数字全息投影技术

    实现宽景拓展或多用户多终端体验等效果,其最大的优势就是无需佩戴3D全息眼镜。  火影数字全息投影技术可产生立体的空间幻象,还可以使幻想与表演者产生互动,一起完成表演,产生令人震撼的演出效果。适用范围
    发表于 04-04 15:30