移动互联网时代，人与数字世界的交互巨变

互联网时代，电脑是计算平台的核心，而鼠标和键盘作为互联网第一代交互方式，曾彻底引燃了电脑时代。到了移动互联网时代，智能手机开始站上计算平台的核心位置，多点触摸操作成为第二代革命性交互方式的标志。

交互方式从一维的按键、点击交互，演变到了二维的多点触摸交互。我们看到，正在迈向的万物互联数字世界，三维多模交互手段必将在新的计算平台XR（AR/VR/MR的统称）中扮演极其重要的角色，为智能世界打造极致的超现实用户体验。如果说，Windows系统的图形化界面把人们从Dos系统下解放出来，用更符合直觉和人性的方法让人们对电脑进行操作是一次新技术的跨越的话，多模交互超现实体验则是另外一次意义更为深远的腾跃。网络和电脑技术，终于使得数字世界和现实世界全面融合，人类升级为真正意义上的数位人。

实现超现实体验的前提是什么？

多模交互的超现实体验，需要虚拟世界与真实世界的无缝融合，并能够准确感知、还原世界，在虚实结合的混合现实世界中理解用户的意图。此外，多模交互需要打通视觉、听觉、触觉、嗅觉等多种感官体验，实现人与成千上万种边缘设备之间的交互。为实现这个目标，需要将用户所处的整体环境作为一个超级数字世界来对待，依托语言、肢体、触觉、光感、脑机、表情、意识等，进行信息采集和传输，并识别用户意图、再通过裸眼3D、全息投影、AR眼镜、数字嗅觉和数字触觉等科技呈现给用户，从而实现超现实的交互体验。

在超现实体验里，传统的鼠标、键盘和多点触摸交互已经无法满足XR设备的交互要求。简单的说，在没有实体屏幕和物理控制设备的前提下，人类无法在一个虚拟三维环境里，通过简单的键盘、鼠标或多点触摸来完成复杂的命令输出。以手势操控为例，终端设备需要捕捉到三维空间内手指的动作，同时完成对时间和空间的判断，并同步发出指令以完成用户的意图。终端设备还必须清晰判断出用户发出的语音指令，甚至根据用户的行为习惯来判断用户的下一步意图是什么。这种交互方式，就是我们常说的本能交互--最大化以用户心智模型出发，使用共识或易学、易用的操作，让用户少点思考、少点疑惑、少点反复。

真正的挑战来了

虽然超现实体验未来可期，但现有的交互设备和交互环境，还不能实现较高的操作精度，面向一般消费者的产品，仍然需要技术和商业上的不断突破。

-面向移动

对移动位置的控制来说，设备需要完成用户在三维空间上的原始解放。置身于近乎无限的在虚拟空间中，用户可以在虚拟的三维空间中不受任何限制的移动。这种不受限的行动，虽然使用户的感官上已经从现实世界里脱离了出来，但自身仍然无法脱离物理世界。绝对的行动自由，是对环境规则的否定。所以物理世界与数字世界仍然需要进一步的融合，才能让用户摆脱现实世界的束缚真正进入虚拟世界里去。这种融合的前提是：通过一种外部的框架来实现的支撑和随动。

-面向手部操作

用户的手部操作一般占日常整体动作的八成以上，如果没有精准的手部动作捕捉、特征追踪、动作识别、空间定位系统，整个基于手部的操作环境都难以建立。手部操作的功能性体现在终端的业务执行；手部操作表达性体现在窗口文字内容输出；手部操作的社交性体现在肢体语言上，由手势和肢体动作共同构成。

因此，手部交互设备除了要符合以上的基础条件之外还要遵循轻量级、可拓展、开放性强等特点。

-面向数据输入

从某种程度上来说，XR是人类真正数据化自身的开始。在这个起点，用户的一切行为都可以被数据采集。同时，数据监测的范围也有效扩大了，可以预见，未来一定是行为心理学和统计学的胜利。除去用户肢体行为形成的数据，用户在任何位置的停留、视觉选择、手部操作，都可以成为用户个人数据的采集范畴。而当务之急，能否形成一套基于动作、语言的数据输入交互系统，对现阶段继续有效推进XR发展演进具有重要意义。有了高效的数据输入系统，用户才能提高表达效率，高效的输入意味着用户可以遵循更加可靠的输入交互逻辑。

写在最后

MR(混合现实)、VR(虚拟现实)、AR（增强现实）是构成未来数字世界的三个重要组织部分。依托新的计算平台以及更先进的5G/6G技术，物理世界与虚拟数字世界的界限在不断模糊，而XR技术的发展带给从业者巨大的发展机遇和前所未有的挑战。

展锐作为数字世界的生态承载者，数字世界底层建筑的构建者，担负着构建未来数字世界底座的重任。在多模交互领域，展锐的智能手机平台通过Sensor Hub传感器系统，支持手势操作、体感动作、面部动作等多种交互模式。另外，展锐在语音识别、语义理解、多语言系统等自然语言处理方面也有深度布局。基于展锐芯的终端品类从手机、平板手表、翻译笔等，不断向更丰富的物联网领域扩展。在5G、短距连接、高性能计算平台等创新成果的基础上，展锐正在不断突破边界，向更广阔的空间探索……

审核编辑：符乾江