预测图像如何影响视觉反应速度

想象一下，当你沿着一条路行驶时，一个障碍突然出现在你的路上。你能多快做出反应？你的反应速度如何随时间、障碍物的颜色以及它在你视野中的位置而变化？

对视觉事件做出快速反应的能力对日常生活很有价值。它也是快节奏视频游戏中的一项基本技能。 NVIDIA 、纽约大学和普林斯顿大学的研究人员最近进行了合作 – SIGGRAPH 2022 年技术论文奖得主 – 探索图像特征与观察者反应所需时间之间的关系。

反应速度和视觉事件

随着显示技术的不断进步，人类的反应时间已经成为图形管道中的主要瓶颈。与远程服务器通信、渲染和显示图像以及收集和处理鼠标或键盘输入的响应时间通常为几十毫秒或更短。

相比之下，人类感知的管道要慢得多，根据视觉输入的复杂程度，可以在 100 到 500 毫秒之间。这项研究旨在简化和优化图像，尽可能减少我们的反应时间。

视觉对比度和空间频率是影响低水平视觉的众所周知的特征。此外，人类的视觉在整个视野中并不均匀。提高反应时间所需的对比度取决于偏心率、视角（物体相对于中心视线的位置）和空间频率（例如，物体是纯色还是复杂图案）。反应时间是许多神经过程的组合，所提出的模型包括所有这些因素。

反应时间测量基于称为扫视的自愿快速眼动的起始潜伏期。目标一出现在屏幕上，“反应时间时钟”就开始滴答作响。一旦识别出目标，就开始向其扫视。

扫视反应模型

为了建立一个感知准确的反应时间预测模型，研究人员对人类观察者进行了一系列实验，收集了 11000 多个不同图像特征的反应时间。

受人脑感知信息和决策方式的启发，研究人员设计了一个反应时间预测模型，考虑了对比度、频率和偏心率，以及人类反应速度的内在随机性。

在这个模型中，随着时间的推移，“决策置信度”的量度会累积，一旦累积了足够的置信度，就会进行一次扫视。置信度随时间累积的速率不一致。

因此，该模型提供了显示各种反应时间的可能性，而不是完全确定地预测单个反应时间。置信度累积的平均速率受图像特征的影响，并导致反应时间的可能性发生变化。

两个验证实验证实，该模型可以应用于可能看到的图像，包括视频游戏和自然照片。

使用反应时间预测优化人的绩效

这种扫视反应时间模型的应用包括，例如，智能驾驶辅助系统，用于估计驾驶员是否能够对行人和其他车辆做出安全反应，并启用适当的辅助功能。类似地，电子竞技游戏设计师可以使用该模型来理解游戏视觉设计的公平性，避免竞争结果中的偏见。

野心勃勃的玩家也可以使用这种模型来微调他们的设置以获得最佳性能——例如，为目标 3D 对象选择最佳皮肤。

在未来的工作中，研究团队计划探索颜色和时间效应等其他图像特征如何影响人类的反应时间，以及如何训练人类提高他们对屏幕或现实世界事件的反应速度。

关于作者

Budmonde Duinkharjav 是 NVIDIA 2022 年夏季实习生，也是纽约大学沉浸式计算实验室的博士候选人，由孙琦教授担任顾问。在 2021 春季开始学习之前，他分别于 2018 年和 2019 年在麻省理工学院获得了计算机科学和工程学士学位和孟学位。 Monde 对探索计算机图形学、 AR / VR 和电子竞技中的人类表现、行为和感知方面的各种主题感兴趣。

Rachel Brown 是位于俄勒冈州波特兰的 NVIDIA 人类感知和表现小组的研究科学家。她的兴趣集中在计算机图形学应用中人类如何感知和响应刺激，特别是周边视觉、色彩和立体视觉领域。她于 2018 年在加州大学伯克利分校完成了研究生学业，获得了视觉科学博士学位和计算机科学硕士学位，并于 2011 年在威廉玛丽学院完成了本科学业，获得生物学和心理学学士学位。

Anjul Patney 是位于华盛顿雷德蒙的 NVIDIA 人类表现和体验研究小组的首席研究科学家。此前，他是 Facebook Reality Labs （ 2019-2021 ）的研究科学家，也是 NVIDIA （ 2013-2019 ）实时渲染的高级研究科学家。他于 2013 年获得加州大学戴维斯分校的博士学位， 2007 年获得印度理工学院德里分校的学士学位。 Anjul 的研究领域包括实时图形的深度学习、时空图像质量的感知度量、虚拟现实图形的中心凹渲染以及虚拟现实环境中的重定向行走。

审核编辑：郭婷