高通司宏国：5G＋无界XR，产业发展新方向

9月5日，2020 Qualcomm XR生态合作伙伴大会暨第二届XR创新应用挑战赛颁奖典礼在江西南昌举办。以“开放共赢 拥抱5G”为主题，高通公司联合XR设备厂商、运营商、平台供应商、内容提供商、当地政府等XR产业链上的合作伙伴，共同探讨产业发展趋势、XR与5G等移动技术的融合，以及XR产业的未来发展机遇。 高通公司全球副总裁、全球XR业务负责人司宏国（Hugo Swart）表示：“多年来，高通公司不断优化骁龙移动平台，实现顶级XR体验所需的沉浸式音频、视效和交互的支持。骁龙XR平台现已支持客户推出超过30款XR设备，其中涵盖VR、AR和MR领域。”

今年是5G全球商用的第二年，而扩展、融合和机遇成为接下来5G普及的核心关键词。5G所带来的新特性不仅赋能了智能手机，还将成为更多终端类型、更多行业发展的驱动力，支持更多的应用落地。 司宏国表示：“5G的优势为XR产业带来全新机遇，在2020年，我们见证了过去一年我们一直谈论的全新XR设备形态的出现，即能够与搭载骁龙855或865移动平台的5G智能手机相连的XR Viewer。这些纤薄、轻量化的XR Viewer有效利用手机算力和5G的高带宽、低时延特性，对打造高品质XR体验至关重要。”

遇见未来：XR终端新形态

2019年，是5G元年。尽管2020年受到疫情影响，但目前全球80家运营商已经完成部署5G商用网络，超过385家运营商正在投资5G。到2022年，5G智能手机出货量将超过7．5亿部，2023年5G连接数预计将超过10亿，比4G获得同样连接数整整快了两年。

高通公司产品市场高级总监艾和志 目前，XR终端在教育、医疗、娱乐等各领域被广泛使用。高通公司产品市场高级总监艾和志表示：“目前来看，XR终端的演进路线有两条。”

第一条：现阶段，常见XR终端形态以VR和AR一体机为主。未来1到4年，随着5G技术普及VR／AR一体机处理、渲染被移至云端，同时保持终端设备算力，为消费者提供更为成熟的双6DoF、手势识别等交互体验； 第二条：现阶段，VR和AR Viewer的手机＋XR的分体式设计。未来1到4年，此类设备从有线变为无线，基于5G的低延时传输和手机性能提升带来更好的XR体验。 未来5到十年，上述两条发展路线将得到融合。

以小型化、无线化、多功能、5G传输为主导的XR设备终将代替手机，成为继电脑、手机之后的下一代移动计算平台。 那么，高通公司是如何一步步推进这一想法的呢？高通公司中国区XR业务负责人郭鹏表示：“高通在XR领域有四大策略。”

其一是芯片。从2016年推出的骁龙820／821移动平台开始，高通基于对移动智能硬件领域的经验，全面铺开对XR终端设备处理器的迭代。首先宣布基于VR优化的骁龙835移动平台，随后推出专属的骁龙XR1，XR2平台。 去年12月，高通公司发布骁龙XR2平台。其内置5G调制解调器及射频系统、支持60GHz无线连接、支持高达7路并发摄像头以及6DoF头部追踪。 其二是底层软件和算法。XR的交互方式与传统显示交互方式完全不同，除了头手双6DoF之外还会涉及到眼球追踪、表情追踪、语音输入等新型技术。

对于XR2平台来说，除了基本的六自由度时定位与地图构建（SLAM）等感知算法之外，高通公司还提供了对底层CPU、GPU、CVP的优化，让产品在更加省电的情况下性能达到极致。 其三是提供一体化参考设计。从骁龙821移动平台开始，每一代产品都伴有参考设计，其中包括硬件和软件两部分。

硬件层面，高通所提供的硬件参考设计是跟AR眼镜、AR头盔类似的原型机，这个机器非常的完善和全面，参考设备的配置非常高，用户在基于它做设计的时候，基本是往下来做减法的。

软件层面，会有很多软件代码、文档、零部件选择、原件图、BCD设计参考这些。所有的都会开放给客户，以缩短其研发周期，降低研发难度。 其四，基于参考设计，高通公司推出Qualcomm HMD加速器计划、Qualcomm XR眼镜适配计划以及Qualcomm XR企业计划。

Qualcomm HMD加速器计划旨在吸引零部件领域或者技术合作伙伴的成员一起加入到项目计划，让他们的零部件和算法得以更加稳定地运行在骁龙XR2平台上。 Qualcomm XR眼镜适配计划针对于轻薄型XR眼镜和5G智能手机的连接，测试XR Viewer的性能并确认其与智能手机之间的兼容性。XR眼镜可以做到极致的轻薄，同时基于骁龙旗舰移动平台的5G智能手机可以承担一部分渲染、计算工作，两者结合提供沉浸式体验。

Qualcomm XR企业计划的参与者渗透到各行各业，比如医疗、工业、消防、警务、文化旅游等等。通过与开发者直接沟通，高通希望开发者更加容易的基于骁龙平台打造内容生态，这有利于进一步扩大XR生态系统。 这些计划旨在满足XR行业的独特需求，通过与内容、技术和平台提供商（包括OEM、ODM、手机厂商、运营商、开发者和内容提供商）的紧密合作，基于丰富的生态系统合作项目汇聚更多元的用例、资源和人才，从而促进产业转型和升级，并继续推动XR行业向前发展。

5G＋无界XR，产业发展新方向

上面说到，高通认为最终的XR终端形态应该是二者融合的样子，这其中5G技术必不可少。 首先是分离式渲染。 无界XR，是高通公司正在发展的重要方向之一。无界XR允许XR终端在没有任何束缚的情况下，用无线代替有线。通过无线传输由个人电脑、工作站或者云端渲染好的数据，在屏幕上显示。

高通公司中国区XR业务负责人郭鹏 现阶段，Oculus Quest、Pico Neo 2等产品均宣布支持了无界XR。尽管目前的连接方式还是Wi－Fi，但后期5G特性必将呈现出众多优势。高通公司中国区XR业务负责人郭鹏表示：“Wi－Fi 6一推出，就有不少手机厂商相继支持。这也是骁龙XR2平台积极关注的方向之一。但是，从长期考虑5G仍会与其并行存在。” 未来，高通公司会基于骁龙XR2平台特性令无界XR的分离式渲染不光服务于Wi－Fi连接的PC机到一体机的无线串流，更多的是满足为5G商用落地之后，人们对于5G手机＋XR设备这种体验方式的新需求。 其次是AI算力。 骁龙XR2平台的亮点在于，支持了7路并发摄像头。郭鹏表示：“XR设备跟环境的交互基本上都是基于传感器的视觉。即使不是通过视觉，其他的交互也都是通过摄像头来进行AI的处理。

所以，骁龙XR2支持非常强劲的CPU、GPU、CV－ISP，并且每一个模块都是可以用来进行一系列AI算法，开发者可以选择算法运行在哪个模块上，这些是根据算法来决定的。” 当开发者可以在更强劲加速模块支持下运行AI算法，也就意味着更稳定的追踪效果。 例如，在以前平台实现完整的即时定位与地图构建（SLAM），包括定位、对环境、平面的识别以及对于光照和人脸的识别，可能会受到硬件的限制，在骁龙XR2平台上有了更多的硬件加速模块和传感器，可以将更复杂的算法移植到硬件加速模块上。 AI算力的提升，主要在两个层面与5G息息相关。第一就是当基于云端进行AI算力处理的时候，就需要用5G传输到XR终端中；第二个就是当内容算力被移到云端，那么设备本身的算力空间就会增加，这也变相优化了终端的运算能力。 当然，现阶段技术瓶颈依旧是制约XR产业发展的最大问题之一。对此，郭鹏表示：“基于骁龙XR2平台，我们具备了一整套面向客户的解决办法。抱着开放共赢的态度，高通除了上面提到的三个项目之外，也会给到开发者一系列技术方面的支持。

具体如下： 1、高通公司尽量通过统一底层API，让即便是不同设备厂商发布自己SDK，也会尽量缩小厂商之间的差异。这种间接支持，可以优化SDK和底层API之间的关联性，进而服务于国内开发者； 2、XR应用创新挑战赛的获奖或者入围者，高通公司会主动邀请其加入高通XR企业计划，提供培训和技术支持 3、高通开发者社区（QDN）。里面有很多模块化或者工具化的东西可以直接获取。 对于开发者而言，内容的平台移植伴随着各种困难。高通公司希望从硬件底层来解决这一问题，显然是个大工程。 据悉，高通现已和华硕、黑鲨、OPPO、vivo、一加、中兴、Smartisan、中国移动、中国联通、中国电信等建立合作，从设备、技术、内容平台三个层面实现无缝连接的XR体验。

总结

高通公司产品市场高级总监艾和志表示：“下阶段正与合作伙伴研发的XR终端设备超过30款，随着技术演进、5G发展，渲染能力放在云端，同时保持终端侧的计算能力，打造轻便化高性能XR终端。” 骁龙XR1和XR2平台作为两种不同定位的XR平台，前者主打中高端，其具备独有使用性能和特性；XR2更像是旗舰机的感觉，属于XR终端的高配产品。 未来，基于高通公司骁龙XR2平台打造的XR终端将陆续出现在市场。相信专为XR产品打造的设备在游戏性能、空间追踪等方面会有更优异的表现，而同样催生出的一批好的内容会吸引更多的玩家为其买单。 正如郭鹏所说，高通公司作为产业链上游的核心技术提供商，有责任推动XR产业设备标准统一、联合各方厂商一起创建一个丰富多样的XR生态系统，也的确这样做了。
责编AJX