Facebook携手Sketchfab为AR Studio增添更多3D模型

随着AR的逐渐兴起，巨头们追逐AR开发的趋势已经十分明显，各家都开始推出自己的AR开发平台，像苹果的ARKit、谷歌的ARCore，还有我们这次的主角AR Studio。

作为一个发布已经有一段时间的AR开发平台，AR Studio可以提供的功能并不是很丰富，只提供开发者制作各种滤镜、特效和贴图的能力，甚至可以说，Facebook对AR的理解，更多地是停留在相机捕捉到的实际环境影像的基础上，叠加一些滤镜、贴图、边框效果，这与Snapchat的相机滤镜功能并没有太大的区别。

而最近，在F8 开发者会议上, Facebook宣布，将会更新AR Studio，集成 Sketchfab 的下载 API，同时，将使AR Studio具备更多功能。

先来说说Sketchfab，Sketchfab是最大的3D模型分享网站，提供大量非常精美的3D模型下载 链接。在集成API后，开发人员可以直接从 Facebook提供的API中添加Sketchfab 免费内容库中的3D 模型,免于自建模型或另外渠道下载的麻烦。

Sketchfab 的共同创始人兼首席执行官 Alban Denoyel 在博客文章中说，"与 Facebook 合作是我们实现下载 API 的一个重要里程碑。我们确实认为 Facebook 是一个将该功能带到用户端的候选者。现在, 将 API 集成到创建者端将使开发人员更容易地将3D 内容导入到其 AR 体验中。”

关于AR Studio的更新， Facebook提供了两个新的功能，一个是实现对身体和手部的追踪；一个是对场景基于语义的理解，以此为基础可以得到更高保真度的背景分割。

先看背景分割吧，背景分割是许多可视化应用中重要操作。要求独立提取特定对象的图像，从技术上讲，需要将动态的前景与静态的背景分离。

举个例子，如果有一张没有游客的房间或者没有车辆的道路背景图，那么很简单，只要将新图和背景图做减法，就能得到前景图了。但是多数情况是没有这样的背景图的。所有我们需要在任何情况下都可以提取背景图。当有车辆阴影时，就变得很复杂。阴影也是移动的，简单的减法会把阴影算在前景里，这是一件比较麻烦的事。

Facebook对此有自己的解决方案。今年一月底，我们就发过一篇文章：Facebook新研究为未来全身AR打下基础，在这篇文章中，说过Facebook发表了一篇论文，对原有的Mask R-CNN框架进行了优化，得到一个新的、占用内存更小、效率更高的框架Mask R-CNN2Go，这个框架可以直接被应用到智能手机上，而智能手机可以基于它实现对场景的语义理解，并且在此基础上实现背景分割，识别人的整个身体。

从目前的信息来看，Facebook的新AR Studio提供的功能与这篇论文提到的功能非常相似，只是论文中比较关注利用背景分割对人整个身体的识别，而实际的功能则更为全面，将识别对象的选择权交到了开发者的手中。

这么一来，新的AR Studio提供的身体和手部追踪功能就好理解了，身体的追踪就是完全还原了论文中提到的功能，手部追踪也只是把分割的对象从身体变成了手而已。换句话说，本次AR Studio更新的功能可能都是来源于Facebook改进的语义识别框架Mask R-CNN2Go。

当然，对场景的语义理解不止做到背景分割这样一个功能,还可以处理一些细节的问题。通过对场景进行语义理解, AR 内容将能够更有意义地与现实世界中的对象交互，例如, 当在场景中识别出杯子时,虚拟的蒸汽从真正的杯子中升起，这将使Facebook的AR体验更加真实。

总之，Facebook对其AR开发平台的更新将改善AR Studio功能上的丰富性，优化其创造的AR体验。对AR Studio来说，将会是一个不小的进步。