浅析AR技术及其产业发展策略

去年苹果发布ARKit软件框架，以及今年发布ARKit2，这两次的发布对AR产业的发展将有很大的促进作用，值得我们保持很高的关注。

从技术上来说，AR牵涉到的面很广，从传感器（视觉/IMU等）、手机/眼镜等硬件设备、软件框架SDK、内容生产工具（建模/渲染等）、各种交互技术（语音、视觉、触觉等）、AR云平台，以及基于云平台之上的地图、AI识别等技术，可以说是集各种先进技术于一体。

苹果ARKit的软件框架，主要包含了三层，第一层主要是快速稳定的物理定位，包括实时运算、运动定位；第二层是让虚拟内容和现实环境的无缝衔接，包括平面和边界的感知；第三部分是渲染。按照下图的软件架构，ARKit的工作流程为：

1、ARSCNView加载场景SCNScene

2、SCNScene启动相机ARCamera开始捕捉场景

3、捕捉场景后ARSCNView开始将场景数据交给ARSession

4、ARSession通过管理ARSessionConfiguration实现场景的追踪并且返回一个ARFrame

5、给ARSCNView的scene添加一个子节点（3D物体模型）

而在ARKit2上又增加了新的功能，包括满足多个设备同时显示同一个虚拟场景，满足多人合作游戏、工作的需求，以及统一的AR文件格式USDZ（类似于做成PDF统一的格式）。在WWDC大会上还用AR演示了乐高模型，用iPad 对准一个真实的乐高模型之后，它在屏幕中也变得“虚拟”了，用户可以打开模型的墙面看到里面的结构。这说明ARKit已经能支持识别、3D重建技术了。

Google的ARCore从软件架构与原理上与ARKit类似，都允许使用手机摄像头，并能调整虚拟物体与物理世界的匹配，都支持Java/OpenGL，Unity和Unreal等。当然ARKit只支持苹果系列的产品，是相对封闭的，而Google是支持安卓系统的。由于不同厂商的手机型号兼容性问题，而AR是需要软硬件的紧密依赖，特别是在传感器端，需要Google做大量的工作，所以从这个角度来看，苹果会走的更靠前。

在传感器端，VIO（Visual InertialOdometry，视觉惯性测量系统）一直是关注重点。高通推出了针对VR/AR的专用芯片XR1，推出的VIO技术，用以追踪头部6-DOF（6自由度）运动，这个系统使用 Hexagon 682 DSP来处理摄像头约30fps的视频流，同时使用始终唤醒（All-Ways Aware）的DSP 以800Hz或1000Hz的速率捕捉加速度计和陀螺仪的数据。将这些数据相结合，就能得到6自由度的位置信息。

深度信息的提取对VIO是至关重要的，从传感器技术路线来说包含了ToF、结构光和双目，各技术路线都有优缺点，但只有3D信息才能为AR带来更多的应用服务，包括视觉定位服务、跟踪、3D重建、交互等。深度视觉在手机的应用一直是个挑战，苹果IphoneX在前置端采用结构光，而Vivo的NEX在前置采用的是ToF。采用ToF的最大好处是不需要DOE，相比结构光整个硬件结构更为紧凑。据传下代苹果会推后置的ToF，那对AR的应用生态会带来很大的变化。

目前市面上的大部分AR都没有对物理实体的3D重建，AR中的虚拟内容看起来仅仅是在镜头中现实物体的前面移动而已。但实际上3D重建（我的老本行，可惜荒废了）对AR来说具有重大的意义，3D 重建系统能够找出场景中真实物体的形状和结构，并且允许虚拟事物之间相互碰撞以及隐藏在真实世界的后面。3D 重建通过从场景中获取的点云，然后将其转换为网格，并将隐形网格传递给Unity(连同真实世界的坐标)。之后将真实世界网格精准地放置在所捕获的场景上，这意味着虚拟事物似乎能够与现实世界互动。

在 3D 重建之后，从语义上对3D场景的理解会非常有意思。有别于现在CV厂商做的二维图像识别，这是三维的世界（当然并不排斥在很多AR场景应用中，采用2D的识别技术来做），所以会围绕3D的数据建立新的知识图谱，这里面肯定需要大量AI技术的应用。

目前传统的地图仍然存在着起点看不懂，转向难辩认的问题，AR地图则是很好的工具。目前国内的AR导航，例如“随便走”，采用的是识别关键字标签+摄像头传感器+直观箭头指引，为用户指明方向。

这种技术实际上还是比较初级的，其一是由于与传统地图GPS的简单映射，误差很大，其二是你无法知晓路上、建筑物、商场等的信息。英国的Blippar公司通过整合ARkit VIO和GPS，在图像的特征点提取匹配的基础上加上IMU，将里程计、光流和惯导做数据融合，实现更高精度的定位。利用类似于Google街景数据库的可视化数据，根据用户对周围环境的识别来确定用户的坐标位置。同时能够实现对环境的识别，建筑物的名称，街边商铺的店名、评价、评分（POI）都会显示在地图上。AR地图的整个采集过程，从技术原理上应该类似于现在火热的自动驾驶地图的采集，但是在3D重建、渲染、以及识别上应该有更高的要求。

由于目前AR还处于早期发展阶段，从产业的商业化策略来说，目前大都采用比较简单的AR技术，在游戏、娱乐、教育、营销等领域做商业化落地。

2017年网易成立了人工智能事业部，把AR部分划到里面。由于在游戏方面的优势，网易天然会把AR技术应用在游戏上，推出了《悠梦》、《破晓唤龙者》2款游戏。同时在营销上，网易洞见、网易云音乐，与农夫山泉共同打造了一次AR营销，在4亿瓶“乐瓶”上，印上了精选乐评，手机一扫，AR实时呈现每一瓶矿泉水自带的音乐和故事，引发病毒式传播讨论。在策略上，网易主要在广告营销、游戏、新零售等领域突破，其技术积累也是围绕这些方面展开，网易AR已经形成了一整套的AR工具组合（ARStudio），包括AR内容浏览器，以客户端为载体；互联网应用引擎，涵盖了AR底层的定位、AR云端的服务，甚至多人联机、基于图片的跟踪识别、3D内容渲染等；最后是游戏引擎，表现为AR Game Plugin。

美图的策略则还是主要围绕着人脸布局。2017年的财报显示，美图公司全年实现收益约45.28亿元，同比增加186.8%；毛利10.44亿元，同比增加336.7%；经调整净亏损同比下降91.5%至4600万元，公司全年收入及利润增长超出市场之前的预期。美图持续围绕“变美”布局，已覆盖超15亿移动设备，超4.5亿的月活跃用户数。美图秀秀除了擅长的图片处理，还结合AR、人工智能等技术，不断推出颇有创意的萌拍特效。积极与其他厂商合作带来新的营收，比如与Dior合作，用户打开美图秀秀，进入Dior唇膏试色界面，用户可通过使用唇膏滤镜选择色号，直接在自己的自拍照上试色，并可从客户端直接跳转到购买模式。一键式购买相当便利，而AR、人工智能等技术的运用保证了线上唇膏试色效果的真实。

小熊尼奥在教育领域采用IP内容+AR的策略，也取得了很大的成功。从成立以来，已经有了AR地球仪、口袋动物园、神奇立体识字卡片以及照照乐等软硬件产品。在IP的塑造上，小熊尼奥推出了基于小熊尼奥的衍生动画片，同时和迪士尼、孩之宝这些IP大厂达成合作。小熊尼奥的策略是，生产更多符合儿童兴趣的创意AR产品，同时围绕IP不断去生产新的内容。

AR技术还有很多其他的应用，包括电商、短视频、直播、金融、汽车、工业等等，AR本身是一项带有人的感情的技术，所以利用AR技术做出的产品需要直达人的内心，与用户建立情感的连接，才能把商业的落地做好。让我们完全拥抱AR时代的到来！