元宇宙的核心关键技术—人机交互

元宇宙的目标是实现万物的信息化和智能化，创造一个信息充分包围人的虚实融合空间，演化生成时空无界的新型社会形态。 元宇宙是信息技术蓬勃发展的集大成应用环境，著名的元宇宙七层价值链图上包含了许多当下先进的IT技术，如5G/6G、穿戴、眼镜XR、AI、区块链、3D引擎等。 元宇宙是面向终端用户的，所以人机交互是核心关键技术。

01人机交互式核心关键技术

人机交互研究人机之间高可用的信息交换原理和技术，建立起计算机多种模态的输入输出软硬件交互接口，及其构成的用户终端界面，形成特定的交互模式。

纵观计算机发展历史，交互模式从字符用户界面（CUI）的键入命令，到图形用户界面（GUI）的鼠标拖拽，再到智能手机上的动作语音操控，不断突破用户使用计算机的难度瓶颈，计算得以从少量专家用户的科学计算扩增到数十亿人的日常应用。 人机交互也是元宇宙系统的基础能力，其性能水平直接决定了人在元宇宙中的能力边界，进而决定了元宇宙对人类的价值。 元宇宙中所运用的人机交互应突破目前的两种技术，进入第三阶段：自然用户界面。 不管是CUI还是GUI都要求用户必须学习软件开发者预先设置好的操作，而NUI只需要用户用最自然的方式（语音、面部表情、动作手势、移动身体、旋转头部……）和计算机交流。

02元宇宙的人机交互

目前有成熟可用于元宇宙的人机交互技术吗？答案是没有。

首先，元宇宙的用户终端将从智能手机扩展开来，新型的终端将多种多样，典型的包括智能眼镜、AR/VR设备和智慧物联网环境，如家居等。 这些新型终端在交互接口上的共性是接口的虚拟化、远程化和多映射关系，不同于PC和手机的固定接口并能提供明确的反馈确认，这些新型终端在目前实现基本的交互功能尚有困难。 交互技术在不断进步，输入技术上，则都需要实现交互接口上的三个原子交互功能：操控目标对象，对象空间位置明确，又称为可视目标、表达抽象命令，不是基于目标位置的、输入语言内容，如下图总结了历史上几种交互模式是如何实现这些原子交互功能的。

03现有产品设备的难题

目前一些科技巨头在开发研究的智能眼镜，意义是解放双手，沉浸三维，回归自然。

但自然交互上，由于失去了精准的输入设备，如桌面的鼠标，缺少触觉反馈的感知支持，如手机触屏，完成这三类基本的交互功能，一直是智能眼镜这类新型终端设备固有的难题。

视觉速度慢和眩晕

3D对象的访问一般都需要人眼视觉参与，但我们用手访问精细的3D对象时，视觉注意力的高度集中和随动图像难以准确匹配人的视觉感知，不仅访问速度慢，还是造成用户眩晕的重要因素。

手势动作的可用性不高

手势动作的设计空间虽然大，但手势到命令的映射关系设计和用户表达需要符合人的认知和表达能力，同时还存在传感和识别技术上的困难。

文字输入必要但难以实现

智能眼镜用户用手势在空中使用虚拟键盘输入文字时，速度慢到不及手机打字的1/3；而语音并不万能，很多场合不方便出声；并且缺少连续交互能力，每次输入文字都需要特地唤醒设备。 因此，这些问题限制了用户的表达能力，是智能眼镜一直难以成为通用用户终端的症结所在。

为解决这些问题，市场上还出现了专属折叠蓝牙键盘和鼠标这样不得不“回归”的配置，完全失去了眼镜解放双手的意义。

04人机关系与交互的变革

进一步地，元宇宙空间，人机关系将发生重大变革，机器从被动应答者向主动服务者身份转变，交互从单一的用户动作表达向机器智能推理与用户表达融合方向发展，在恰当时间与情境下提供用户亟需的智能服务成为必然发展趋势。

也就是说，人机交互的路径，将从现在用户记忆搜索应用和界面的模式，转换到AI主动感知和推送服务，极大缩减交互路径的模式。 由于用户终端多样，这一层面的问题还反映在同样功能的服务需要设计实现为每种终端上的应用功能的开发难题。 元宇宙作为所有用户可随时随地接入的虚拟空间，其中用户的交互行为将无处不在、连续不断，这会导致交互数据模糊，为AI推理用户交互意图的准确能力带来巨大挑战。 无论是扩展现实的智能眼镜、VR设备还是智慧互联的现实环境，交互接口都不再是单一固定的界面。 设备在虚拟化的空间上如何实现操控目标对象、表达抽象命令、输入语言内容三个输入交互接口上的原子功能，目前尚无高可用的产品技术，这是人机交互领域的热点研究方向，也是元宇宙需要突破的人机交互技术。