激光雷达作为创意工具向 AR 领域迈进

很多传言宣称，在不久的将来，苹果将推出一款增强现实（AR）或混合现实（MR）设备。尽管苹果还没有详细讨论过这款设备，但 AR 功能在 iPhone 上已经变得十分活跃，而且正在迅速变得越来越好。

苹果从 2017 年开始了 AR 之旅，凭借虚拟宜家家具和外观逼真的户外 Pokemon Go 大战引起轰动。今年，美国资深科技编辑斯科特 斯泰恩 （Scott Stein）利用苹果新款 iPhone 12 Pro 扫描消防栓、绘制其住宅的内部地图，并在屋内地板上导航如何渡过熔岩河。在许多方面，苹果最新款 iPhone 和 iPad 上的深度传感激光雷达传感器，凭借其先进的 3D 扫描功能，正成为未来苹果 AR 设备的支柱。

Facebook、微软和 Magic Leap 已经在探索旨在融合虚拟和现实的护目镜和眼镜，未来将有更多使用高通芯片的 VR 设备问世。但苹果 AR 主管迈克 · 罗克韦尔 （Mike Rockwell）和 AR 高级产品经理阿莉珊德拉 · 麦金尼斯 （Alless Andra McGinnis）表示，苹果目前的 AR 使命是让人们口袋里已有的设备更好地运行。从长远来看，将 AR 与真实世界的位置分层，自动弹出体验，同时基于 AR 的能力开发创意工具和开发辅助技术，可能成为最大的杀手级应用。

罗克韦尔说：“AR 技术具有巨大的潜力，可以通过今天已有的设备和未来可能推出的设备来帮助人们，但我们必须确保它的成功。对我们来说，最好的办法就是塑造我们的设备生态系统，让人们投入自己的时间和精力，这是个健康而有利可图的领域。”罗克韦尔和麦金尼斯还谈到了现在和三年前有什么不同，以及为什么手机对未来如此重要。

苹果杀手级 AR 应用：智能手机

像 Oculus Quest 2 这样的虚拟现实设备，虽然质量不断提高，但与智能手机相比，仍然没有多少人使用。Moor Insights 高级消费芯片分析师安谢尔 · 萨格（Anshel Sag）表示，除了索尼，没有人真正谈论 VR 头盔的销量。到目前为止，索尼已经售出了 500 万台 PlayStation VR 头盔，尽管 Oculus Quest 2 很有可能在第一年卖出 500 万至 600 万台。但即便如此，这些 VR 头盔使用的应用程序通常会让人感觉与我们日常使用的手机和电脑相去甚远。即使在 Magic Leap 和微软 HoloLens 承诺即将呈现 MR 几年后，AR 设备仍然没有大量存在。

罗克韦尔指出：“对于那些只使用 VR 技术，或者想要只使用 AR 技术体验的开发者来说，这是一条非常艰难的道路。市场上并没有那么多设备可用。但与此同时，苹果自 2017 年以来拥有 AR 功能的 iPhone 和 iPad 数量高达数亿部。即使你只吸引了相对较小比例的用户，这仍然是个巨大的数字。”

苹果表示，已经有来自 7000 名开发者提供的 1 万款支持 AR 的 iOS 应用程序，其中许多应用程序专注于购物或家居装修，以此作为在家中实际使用 AR 的一种方式。实用性正是苹果目前似乎最看重的。罗克韦尔说：“我们想为开发者提供一个平台和生态系统，他们可以在那里谋生。”

虽然新冠肺炎疫情已经导致许多实体企业关闭，减缓了大多数人的出行速度，但使用 AR 工具进行家居购物仍是苹果目前关注的主要问题。就像谷歌和微软正在寻求的方法一样，使用基于手机的 AR 工具，你可能会在家里的手机上以 3D 扫描形式查看你可能想要购买的东西。苹果与 Safari 浏览器的连接使弹出式 AR 购物看起来像是去商店购物的完美替身。

麦金尼斯援引 Shopify and Build.com 的数据指出：“家得宝发现，人们在 AR 上看到某款产品时，改用 AR 的可能性是其他人的两到三倍。购买的可能性更大 （94%），回报率也更低（22%）。”

包括 Adobe 在内的应用开发商似乎对基于手机的 AR 也持同样的看法。Adobe 为苹果 iOS 开发了 AR 创意应用 Aero。Adobe AR 主管斯特凡诺 · 科拉扎 （Stefano Corrazza）在谈到公司为何除了从 Oculus 收购 Medium 之外还没有探索头盔创意工具时说：“头盔已经在我们的路线图上了，它们还没有达到让我们有理由部署的临界点。在苹果或谷歌大规模推出产品之前，我们推出它没有太大意义。”

与此同时，像售价 999 美元的新款 iPhone 12 Pro 这样的智能手机可以成为主要的创意工具，为未来的 AR 设备添砖加瓦。科拉扎说：“即使有了 AR 头盔，所有的计算都会在手机上进行，而且也可以流式传输的方式连接到眼镜上。”

这也是高通已经在为未来的 AR/VR 设备打造的相同模式，但这可能需要数年时间。与此同时，智能手机将发挥更大作用。科拉扎在谈到 iPhone 12 Pro 时说：“在一段时间内，它将是主要的消费设备，但也可以 3D 扫描内容，它是一台非常强大的机器。”Adobe 还没有在 Aero 上使用 3D 扫描工具，但未来可能会探索加入这些功能的方法。

激光雷达作为创意工具向 AR 领域迈进

苹果进军 AR 领域的第一步，只是使用手机的运动传感器、陀螺仪和内置摄像头来识别楼层，然后它识别墙和人。具备激光雷达功能的 iPhone 和 iPad 则更进一步，从后置摄像头附近的一个小黑色圆圈隐形地喷射出一系列红外激光，可以快速网格化 （以 3D 方式绘制）房间的全景。

这也包括空间中的 3D 扫描对象和人。这是谷歌多年前通过一系列深度感应 Tango 手机探索的技术的演变，但技术更先进、范围更广泛。许多早期的激光雷达应用，如 Polycam、3D 扫描仪和 Record 3D 都非常有创意，以 3D 捕捉为重点，与 2017 年令人惊叹的、玩游戏的 AR 应用相比，这是一个巨大的转变。

罗克韦尔说：“这就是我们在设备上安装扫描仪的部分原因。我们觉得这是一项关键技术，可以开启 3D 扫描技术的爆炸式增长，可以用于各种用途。它还开启了以某种方式开始扫描环境的可能性，并且能够使创建 3D 对象变得更容易。”

互联网上最大的 3D 对象存储库之一 Sketchfab 已经看到了增长，尽管在此之前，它已经在 3D 扫描方面进行了多年的探索。Sketchfab 的订户刚刚达到 400 万，自 2012 年开始提供这项服务以来，它迎来了第一个盈利月份。

但正如 Sketchfab 首席执行官阿尔班 · 德诺伊尔（Alban Denoyel）所说的那样，他已经经历了之前自己预计 3D 扫描物体会蓬勃发展的时期。2016 年，当 VR 头盔和几款谷歌 3D 扫描 Tango 手机首次亮相时，大肆炒作。然而，市场的采用并没有发生，导致了德诺伊尔所说的 “VR 冬天”到来。现在，这种情况可能开始好转了。

Snapchat 已经在探索使用激光雷达实现 AR 效果，可以将虚拟物体放入现实世界，甚至还进行了扫描整个城市街区的更大规模实验。Snapchat 摄像头平台副总裁埃坦 · 皮利普斯基 （Eitan Pilipski）表示：“我们认为深度是非常重要的。”

不过，即使有了这些可能性，学习使用这些新工具可能也会令人望而生畏。苹果自己的 AR 创作工具 Reality Composer 和 Adobe 的 3D AR 创作工具包 Aero，并不一定是人们马上就能下载的应用，甚至是他们回避的应用。到目前为止，3D 扫描应用很吸引人，但也是实验性的，而且并不总是直观的。苹果在很大程度上将 3D 扫描应用程序的世界交到了开发者手中，而苹果日常的核心 iOS 工具完全没有整合这些功能。

苹果在 iOS 范围内对 3D 扫描对象的支持确实表明，3D 扫描对象最终可能会像 PDF 或照片一样被分享。但在某些方面，未来的创造性工具还没有完全存在。

拍照效果也可能带来令人惊叹的改进，苹果自己的摄像头应用程序使用 iPhone 12 Pro 的激光雷达来提高夜间拍照和肖像的对焦能力。但苹果目前还没有将 AR 技术集成到摄像头应用中，也不允许进行任何 3D 扫描。这些想法留给开发者去探索。有些应用程序，如 DSLR Camera，已经使用 iPhone 的激光雷达在照片数据上创建自定义的 3D 信息层，将 3D 文本分层到照片中。

DSLR Camera 的创建者弗尔维奥 · 希基洛内（Fulvio Scichilone）说：“这款应用能够计算出人和背景物体之间的分割，AR 肖像画的未来计划是用陀螺仪或手指移动画框。”

作为扩展感官的 AR 以及可访问性工具

苹果认为 AR 的杀手级应用是可发现性，但在可访问性方面还有另一个巨大的机遇。AR 可以扩展一个人的感官。在音频领域，苹果已经将 AirPods 用作助听器，Facebook 也在探索用于辅助听力的空间音频技术。

同样的情况也可能发生在辅助视力上。未来的助视产品，如 Mojo Lens 承诺的增强型隐形眼镜，正致力于成为对视力受损的人有用的工具。苹果可能会在 iPhone 上的 AR 以及未来的设备作为辅助工具的工作方式上走类似的道路。IOS 14.2 中已经有了新的人类检测功能，它使用苹果的 AR 和激光雷达来识别人与人之间的距离，并在新款 iPhone 上用它来辅助视觉。

这可能只是个开始。罗克韦尔说：“我们可以做的事情还有很多，特别是与我们对周围环境的理解有关。我们可以辨认人，但如果你想一想，人类对环境的理解程度，没有理由不能让一台设备最终也具备这种程度的理解，并将其提供给开发者。”麦金尼斯补充说：“我们将与盲人和弱视社区合作，特别是在人类的探测方面进行改进。”

AR 未来的杀手级优势：即时性

尽管有些人始终在使用 AR，但在日常生活中使用 iPhone 或 iPad 时，他们经常会忘记寻找新的 AR 应用。当我们在现实世界中忙碌时，发现虚拟世界中的新事物并不是一个无缝的过程。

罗克韦尔认为 iPhone AR 的未来不是应用程序，而是快速浏览功能。他解释说：“你每天要打开手机多次来做各种事情，这些都是轻量级的体验。真正的杀手级应用是，它将一直以这些微妙的方式被定期使用，帮助你做你现在做的事情，让你的工作变得更容易、更快。”

实现这一目标的途径包括 App Clips，这是苹果在 iOS 14 中推出小型微应用的新方式，无需下载任何东西就能在 iPhone 上运行。App Clips 可以由现实世界中放置的 NFC 标签或可扫描代码触发，它还涉及苹果的地图绘制工作。苹果新推出的 Location Anchors 意味着虚拟 AR 对象可以存在于现实生活中的地点，比如在时代广场看到一件虚拟艺术品，并与多人同时共享。

罗克韦尔在谈到 Location Anchors 时说：“如果它位于我们拥有高分辨率地图的地区之一，这在美国是相当多的。如果它在一米之内，你就可以体验到这一点。”他承诺，Location Anchors 的精确度将高于全球定位系统 （GPS）。同时，在现实世界中，由特定二维码或 Location Anchors 触发的 App Clips 精确度可以达到厘米级。

对于苹果的 AR 技术来说，这两项工作仍在进行中：在疫情导致封锁期间，人们可能不太可能出现这种基于位置的 AR 技术出现在公共场所、商店或博物馆。但苹果认为，对于每天使用 AR 的人来说，它们是至关重要的。罗克韦尔说：“我们知道我们必须解决这些问题，才能让 AR 成为主流体验，我认为我们正处在让 AR 成为人们日常生活一部分的边缘。”

Acute Art 公司首席执行官雅各布 · 德盖尔（Jacob De Geer）说：“我的看法是，App Clips 和 Location Anchors 将产生巨大的不同。”Acute Art 是一款已经在现实世界举办 AR 展览的应用程序，但目前人们找到这件艺术品的挑战之一是需要知道它的存在。德盖尔称：“现在的主要问题是：你怎么才能让人们下载你的应用呢？这不仅是 AR 领域的问题，也是现在所有科技领域的问题。”

麦金尼斯说：“我们经常听说人们在使用 AR 应用，却不知道它们是什么。”他指的是沃比 · 帕克 （Warby Parker）的即时 AR 眼镜试戴等流行 iPhone 工具。他称：“随着 AR 变得越来越主流，你是否知道它是 AR 并不重要。重要的是你在你的设备上有一种令人惊叹的体验。”

现在为将来打好基础

结合苹果基于激光雷达的 3D 扫描功能，越来越强大视觉效果的 AR 工具，再加上 AirPod Pro 引入的空间音频技术（可以让你正在听的东西听起来就像在 3D 空间中移动一样），不难想象未来苹果 AR 头盔的样子。

苹果对此不予置评。但与此同时，该公司正在努力鼓励大批开发者开发支持 AR 的应用程序。无论其 AR 设备是否会在短期内面世，更具空间意识的 iPhone 和 iPad 都将把手机转变为世界扫描设备。或者甚至可能用于机器人技术，或者在意想不到的地方用作计算机视觉摄像头。

罗克韦尔说 ：“这些东西最初是很微妙的，你必须具备所有的元素才能让它们成功。几年之后，它将成为一种你会记不起没有它的生活方式，就像互联网一样。你会觉得：‘哇，我经常用这个’，它最终将融入我们的生活。”
责任编辑:pj