浅谈VR中输入和输出技术

近年来计算机的发展趋势之一是形态的多样化与应用情境的复杂化，自然交互（natural interaction）日益成为人机交互的重要发展方向之一。虚拟现实（Virtual Reality，VR）是新兴计算机形态之一，是自然交互的重要组成部分。2010年以来，随着Oculus、HTC Vive、Google Glass、PsvR、Micro soft hololens等商用头戴式显示设备（Head- Mounted Display，HMD）的发行，虚拟现实、增强现实（Augmented Reality，AR）技术逐渐进入人们的日常生活。

在应用方面，除了常见的VR游戏、VR视频以外，VR和AR技术在教育、军事、医疗、商业等领域也有着广泛应用。由此，人们对VR技术产生了不同于以往桌面显示设备的需求，比如，高性能的VR系统应具有沉浸感、想象性和交互性特点（Immersion， Imagination， Interaction，3I）。这些需求促进了VR技术的发展。当然，作为一种新的人机交互形式，VR交互中还存在一些问题，需要我们注意并加以预防。下面就让大家和小编一起看看VR技术的新发展吧。

1. VR中输出技术的发展

与传统的桌面显示设备类似，视觉仍然是VR中输出信息的主要模态，但也有不同于桌面显示设备的需求，如分辨率及像素密度、近眼显示、视场角（Field of view，FOV）等。另外，为了增强沉浸感、提高VR交互的自然性，对于VR环境中其他模态（听觉、触觉）的信息呈现也有区别于传统桌面显示设备的需求。

（1）视觉

VR中的视觉显示至少在两方面与传统的桌面显示不同：第一，显示屏（镜片）与人眼的距离更近；第二，两块镜片呈现的内容不同，通过双眼视差给人提供立体感。因为显示屏与眼睛距离更近，对于同等质量的显示屏，在VR中更容易观察到像素点，画质感相对粗糙、不真实，进而影响呈现效果。

我们研究发现，在普通分辨率的液晶显示器、VR、AR上完成相同的阅读任务，在VR上准确接收到的信息量大约是液晶显示器的79%，在AR上准确接收的信息量大约是液晶显示器的85%。

如果在液晶显示器、VR、AR上完成相同的快速阅读任务，被试者在选择选项时，在VR和AR上需要多花费约10%的时间，即反应更慢；如果想要在VR设备上得到相同的阅读绩效，VR设备需要配备不低于3K分辨率的显示屏。除了分辨率以外，3D文字、AR环境中的文字叠加背景也会影响VR和AR设备的阅读绩效。

在VR、AR环境中，用户不再受物理显示设备的范围限制，可以在虚拟环境中同时放置多个窗口，如何设计多窗口布局将会影响交互的效率。我们研究发现，设计多窗口布局时需要关注切换距离与路径，有中心布局（C-type）适用于低频切换任务，无中心布局（NC-type）适用于高频切换任务。

我们优先推荐横向布局，重视满意度时推荐纵向布局，重视绩效时推荐斜向布局。新的VR设备已经在提高分辨率上取得了一些进展。HTC最新推出的Vive pro，组合分辨率达到了2880×1600，已经接近3K分辨率。实验室的原型机最高分辨率已经达到8K。

（2）听觉

在以桌面显示器为主流显示设备的时代，听觉可以通过耳机呈现立体声音效，来模拟环境中不同位置的声音。在VR中，因为视觉信息可以以立体、360度环绕的形式呈现，所以视听整合（audio visual Integration）变得更加重要。视听整合对呈现虚拟环境中物体的深度信息具有重要作用。

研究者将3D声音信息作为主要线索来帮助使用者判断物体的距离远近，发现随距离变化而调节声音大小的3D信息能有效帮助使用者判断物体距离，这种线索也能有效帮助使用者完成目标搜索任务。我们的研究发现，VR环境中的视听整合对于深度线索的影响也体现在视听不一致时，人们对视觉刺激的距离会偏向于听觉刺激。我们的另一项研究发现VR动态背景下听觉信息影响视觉搜索：当不同方位的听觉信息影响觉察任务的反应时，如果听觉信息与视觉目标的空间位置一致，则反应更快。

（3）触觉

传统的桌面显示设备一般没有触觉显示，人们在日常人机交互中接触的触觉信息主要是手机的震动。触觉信息对于视觉有障碍人群具有特殊意义。有一系列为特殊用户群体设计的触觉显示设备，如Braille Display。触力觉人机交互对于保证VR系统的3I特性至关重要，但是现阶段的主流VR系统中触力觉反馈仍然非常有限，成为制约VR交互发展的瓶颈。

手和皮肤是人们的主要触觉感觉器官，相应地，VR配套的触力觉设备主要有手套和全身穿戴设备两大类。其中手套设备更重视真实感的重现以及双向信息流动，而全身穿戴设备专注于提供更好的沉浸感。例如电影《头号玩家》中的男主角穿戴的就是一套覆盖全身的触力觉系统。由开源VR平台High Fidelity与触觉设备公司NeoSensory合作开发的触觉夹克exoskin，其beta版设备带有32个感觉马达，覆盖上肢和主要躯干部位。Tesla Suit的全身穿戴设备融全身触力觉反馈、温度变化反馈、动作捕捉系统于一体，力图为用户提供VR环境中的真实感与沉浸感。

（4）多模态融合

为了实现真正的自然交互，VR系统不仅要提供高质量的视、听、触觉信息，还需要不同模态信息之间有效协同，避免互相干扰，力求达到融合、互补。我们研究发现，（1）在每次呈现1bit信息的情况下，视、听、触模态呈现信息的效果没有显著差异；在每次呈现2-4bit信息的情况下，视觉呈现信息的效果明显优于听觉和触觉。（2）听觉最适合呈现的信息形式是时间的长短，触觉最适合呈现的信息形式是方位信息。（3）在快速连续呈现信息的条件下，多模态冗余信息没有表现出相对于单模态的增益效果（multi-sensory enhancement）。在VR环境中，除了视听整合，还要求实现视听触整合：同一物体的视、听、触的信息要在空间和时间维度上都保持一致，才能实现让人满意的整合效果。

2. VR中输入技术的发展：

设计师和工程师自计算机诞生以来，从未停止对更加自然的交互形式的探索。从最早的穿孔卡开始，经过键盘鼠标，再到触摸板和触摸屏，交互方式在不断进化。VR、AR的出现让计算机显示从有限尺寸的屏幕发展到没有实体屏幕，这也要求我们进一步去发现新的交互方式。

（1）动作捕捉

动作捕捉技术，即以某种分辨率捕捉对象的大规模运动，在VR交互中也扮演着重要角色。动作捕捉主要有电磁、机械、声学、光学和惯性式运动捕捉。其中，光学运动捕捉系统会监视、跟踪捕捉对象上的特定光点。

惯性式动作捕捉系统，如Xsens MVN和3DSuit，主要通过把惯性传感器设备（如加速度计、磁感应计和陀螺仪等）固定在重要节点上来实现。算法上的新进展，如机会计算模型（opportunistic computing model）、类增量随森林、深度学习等方法可以有效提高动作识别精度，对于大规模数据的泛化能力也得到了提高。

（2）移动

移动是非常重要的交互，但是现实世界的空间往往是有限的，为了实现在虚拟空间中的无限移动，让用户在虚拟环境中可以不受限制地行走，还需要外接设备—例如万向跑步机。

万向跑步机利用动作捕捉技术，将用户的行走、转向等产生的动作转化成用户在虚拟环境中的化身的相应运动，让用户感觉自己在走动，但实际上是原地踏步。其他类似的外接设备使得VR效果更逼真，比如商场中常见的蛋椅9DVR、VR多人联机产品、迷你VR综合乐园、移动VR体验馆等。

（3）手势、眼动、脑电

VR/AR交互的主要输入方式包括语音、手势、控制器（手柄）以及传统的键盘鼠标等，另外还有正在发展中的眼动、脑电等输入形式。AR眼镜，如HoloLens，支持简单的手势交互。更专业主流的手势识别设备主要有Leap Motion。另外，在VR、AR中输入文本是一个难题，设备自带的输入方式效率非常低。一些新的输入技术可以提高VR、AR中的文本输入效率，如头动输入、空中打字、单维手势输入等。

用眼动来实现交互，通过捕捉眼球的运动，计算出注视点，并配合眨眼等动作实现对设备的操控。Google Glass就可以靠眼动来操控，而在HoloLens和配合手机使用的VR设备（如Google Cardboard）中，眼动技术仍然是一个难点，目前只能通过头动来操控。将脑电技术应用于VR，通过便携式脑电设备收集脑电信号，并由特定算法将生理信号识别为意图（如情绪识别）并实现对其他设备的控制最终以脑机接口的形式进行意图的输入，也是发展方向之一。

3. VR在社交领域的发展

演化中的合作关系奠定了人类的社会属性。VR技术的发展，必定会影响人们的社交形态。作为一种新兴的媒体，VR环境既更新了媒体传播的形式又丰富了媒体展示的内容。两方面的发展让虚拟环境下的社交形态更加多样化，但可能引发一些新的问题。社会交往中，个人的身份构建（identity construction）是一个核心问题。在虚拟社交环境中，一个人可以体验不同的身份，这种身份可能是跨职业跨年龄、跨性别甚至是跨物种的。不受限制的身份跨越，会引发大量的伦理问题。

除此之外，多样的身份体验也会直接对个人的自我认知造成影响，反向作用于真实世界的社交行为，并有可能刺激多重人格的差异化发展。在虚拟世界中，社交环境是虚构的，但用户是真实的，虚拟社交会直接影响现实社会。因此，虚拟社交中的成人因素和暴力因素需要被妥善监管。现有的媒体研究表明，影视作品中的成人因素和暴力因素会对观影者造成较大的影响，而VR环境中沉浸感更强，这类影响将进一步扩大。不受规范的虚拟社交很大可能导致现实世界中的反社会行为，这对于青少年可能更为严重。

虚拟世界的社交是会促进人们的社会交往还是会导致更严重的社会孤立呢？从好的方面讲，对于不能进行面对面交流的情况，相比于传统媒体，VR可以提供的信息更加丰富。除了图像、语音之外，交流中重要的肢体接触、环境烘托都成为了可能。虚拟社交能很好地作为真实社交的补充。但是，过分沉迷于虚拟社交，可能会导致对真实社交的忽略，造成社会孤立。

这一现象在社交媒体出现后已有体现，而沉浸感更强的VR社交有可能将这个问题放大。虚拟世界也可以发展亲社会的社交：通过虚拟社交的方式增强使用者的同理心、同情心以及合作精神，改善他们在真实社交场景中的表现。总的来说，VR技术会带来社交方式的变革。这种变革是一把双刃剑，它具体会产生怎样的影响还要取决于人们的使用方式，规则的健全程度等因素。