AR/VR落地突破 芯原联手Khronos提供更强技术支持

芯原日前联手Khronos举办了一场技术研讨会，这场线下结合线上的分享活动，给业界带来了很多耳目一新的技术信息。在活动中，来自全球的芯原与Khronos的技术专家介绍了最新的助力AR/VR体验的技术，还邀请了众多位来自行业中如移动、华为、英特尔、腾讯、阿里、日本AX和成都弥知科技等企业的专家，分享了基于AR/VR技术的落地应用，让大家看到了AR/VR的前沿应用和广阔市场。活动由Khronos工业协会中国区总监傅世雄 (Dennis Fu)主持。电子发烧友记者也到应邀参与了会议，对本次会议活动，做了专门的报道。

图：Khronos工业协会中国区总监 傅世雄 (Dennis Fu)主持本次技术研讨会

AR/VR的应用，在之前谷歌、微软和英特尔、HTC等大厂商的推动下，曾经取得了很大的进展，包括VR眼镜头盔、VR游戏、AR游戏、VR影视等，其应用也不断扩展到游戏影视娱乐、商业购物、远程旅游体验、远程教育等方面。但是对于技术公司来说，操作延时、显示不够细腻等技术限制，让最终落地没有找到能够用户足够粘性的项目，或者是足够的商业回报等，感觉这个行业还是处于不温不火之中。

Khronos工业协会主席(President)，英伟达生态系统开发副总裁，OpenCL工作组主席 Neil Trevett也在美国加州现场连线，作了Khronos组织的背景介绍，并分享了视觉处理与推广方面的Khronos API接口技术的介绍（OpenCL, OpenVX, SYCL与Vulkan）。

图：Khronos工业协会主席 Neil Trevett在加州连续会场

芯原商业运营高级副总裁汪洋介绍，芯原公司在2004年加入Khronos，中国是芯原和HW两家是董事会成员。芯原目前90%研发在中国，一半以上的营收来自境外。作为全球领先的IP与IC设计服务供应商，芯片主推SiPaas（ Silicon Platform as a Service ）即设计平台即服务业务模式，其客户不仅是IC设计(Fabless）公司，更是将技术服务，推广至更下游的互联网企业和技术开发者。

图：芯原商业运营高级副总裁汪洋在介绍芯原的一站式设计服务

随着SoC的设计进入到7纳米，其设计成本提升至了2.22亿美元。成熟的设计服务对于高端IC设计业者越来越重要。这也是芯原能够在科创板成本上市的最重要的原因之一。

芯原在NPU、GPU、ISP、Video、声音语音、显示等方面的全面的IP产品供货能力，让他可以服务到从可穿戴、智能手机、智能家居、到AIOT、到汽车、服务器等广泛的客户群体。

芯原的VPU IP可以支持到4K/8K的视频流解码，芯原也是谷歌WebM视频项目亚洲的第一个硬件合作伙伴。芯片的视频编解码SoC可以服务 云端处理需求。汪洋介绍，相比CPU和FPGA的方案，基于芯原IP的ASCI方案，其视频编解码能力提升了6倍，功耗下降到了原来的13倍，且芯片体积也大为减小。在同样大小的机箱空间内，边缘端计算处理能力提升了36倍，功耗下降 50%。视频处理ASIC还能支持到H.264. VP8, H.264, VP9, AV1, SVAC等。

汪洋指出，中国市场的视频云计算市场每年的复合增长达到 了40%，2020年视频云市场是70亿美元，到2024年将达到 244亿美元，复合增长率达40%。

在AI的IP方面，芯片的NPU(嵌入式神经网络处理器)IP已经在全球有40家公司取得授权并量产，量产SoC超过60颗，应用领域也非常广泛。

车用GPU IP，芯原也处于技术领导者位置。

ISP IP，芯原在2014年收购了ArcSoft团队之后，于2017年推出 了ISP IP，其优势在于HDR。

文章篇幅所限不全细列。上面讲到了视频的解码能力、功耗、显示等多方面的IP创新，他们都可以对AR和VR开发有很好的支持。但对于一个好的AR和VR体验来说，技术的瓶颈还要突破数据传输中的延时。芯原的高速数据传输IP这一块与Alphawave联手扩大合作，服务中国市场。

上图显示出，112G和224G高速传输接口市场需求正在快速增长。

目前高速传输技术的领域者是Alphawave，他是全球首家7纳米以下的硅验证IP供应商。

芯原取得了Alphawave在中国市场的IP独家经销权。

在当天的技术研讨会期间，芯原机器学习软件副总裁查凯南就芯原神经网络处理器，芯原IP解决方案副总裁张慧明对芯原图形处理器，芯原多媒体SoC平台首席工程师妙维对芯原AR/VR 低延时低功耗像素处理作了详细的介绍与分享。

华为消费者BG AR/VR产品技术总监邹文进演讲中介绍了利用AR技术做产品线上发布会的演示，其AR引擎的精度比Apple和谷歌还要高30%。他表示后面还会跟国内的手机厂商、汽车厂商合作，利用AR技术做商业推广的合作。

图：华为消费者BG AR/VR产品技术总监 邹文进

弥知科技创始人和CEO张天夫Steven Zhang做了AR算法场景与渲染引擎应用分享。疫情期间线上直播购物中，AR技术助力电商大大提升了购物的体验。

图：成都弥知科技创始人和CEO 张天夫 Steven Zhang

张天夫介绍，其公司的WebAR做内容的时候，不需要技术来学编程，只需要选择所需要的模块来做商业落地的项目，做普通AR消费者需要的场景。都是刚需，都是源自市场的反馈。可以一键发布到微信小程序上，目前超过了一千个程序接入了。通过3D的互动，形成了各大自落地的案例，大多小程序开发者都有很好的收益。

“例如，AR式美瞳，在国内已经很普遍了。但是在海外没有微信和淘宝，只有FB、TW，所以是基于Web端的试穿试戴的场景。珠宝戒指试戴，增进了消费者与品牌的距离，促进了购买率。试鞋的场景，在任何地方可以来试鞋，可以体验鞋子的样子，比较潮流的款式，也适合自己穿，促进了购买率。还有非常多的案例。例如京东的人脸迷宫，去给品牌做传播如官方号的关注、转发等效果的提升。”张天夫说。

图：中移动研究院高级技术人员李可

中移动研究院高级技术人员李可做了云XR标准化及在教育领域内的应用的分享。中移动的云XR是疫情期间云课堂云教育落地做得非常好的一家公司。在取得出色的成绩之后，今年中移动还主导GTI的发展产业，推动相关AR/VR云教育的标准的制定。

李可说，首先是云渲染 60-70毫秒的时延，对于用户的动作的预测是很重要的。OpenXR现在在时延这一块还没有明确的定义，我们希望去推动成为标准立项。第二步是云渲染能力和业务接口布置的问题。第三部是云能力和云的实际处理资源Micro Service，未来第三方的云能力，可以作为一个PAAS平台，布置到各个云服务商的平台中去。对云渲染感兴趣的企业，可以一起参与进来。

ax株式会社数据科学部AI工程师胡筠分享了如何用用Vulkan快速搭建AI框架。英特尔AR/VR 首席软件架构师 OpenXR工作小组主席 Brent Insko在线分享了OpenXR 的技术更新。阿里巴巴淘系技术部端智能团队 高级技术专家姜霄棠介绍了MNN的异构计算解决方案几何计算。腾讯科技高级研究员倪辉分享了ncnn-使用Vulkan的通用神经网络推理。

图：腾讯科技高级研究员倪辉

对于技术专家来说，这是一个难得的顶级高手之间的分享会议。

本文由电子发烧友原创，转载请注明以上来源。如需入群交流，请添加微信elecfans999，投稿爆料采访需求，请发邮箱[e-mail]。