- 人类和 DNN 的目标识别稳健性比较

我们基于 12 种不同的图像畸变，对人类和 DNN 的目标识别稳健性进行了行为比较。我们发现，与人类观察者相比，在 ImageNet 上训练的三种知名 DNN（ResNet-152、GoogLeNet 和 VGG-19）的表现会随着图像畸变所造成的信噪比的减小而迅速降低。此外，我们还发现当信号越来越弱时，人类与 DNN 的分类误差模式的差别会逐渐增大。我们在良好控制的实验室条件下进行了 82880 次心理物理学试验，结果表明人类与当前 DNN 处理目标信息的方式仍存在显著区别。在我们的设置中，这些区别无法通过在畸变图像上进行训练（即数据增强）而克服：尽管 DNN 能完美应对其所训练过的特定畸变，但对于它们之前未曾见过的畸变类型，它们仍然束手无策。因为潜在畸变的类型基本上是无穷无尽的（不管是理论上还是实际应用中都是如此），所以不可能在所有畸变上都训练一遍。当超出常规的独立同分布假设时（通常是不现实的），DNN 就会遇到泛化问题。我们相信，不管是为了创造稳健的机器推理，还是为了更好地理解人类目标识别，解决这一泛化问题都至关重要。我们希望我们的发现以及我们精心测量并免费公开的行为数据能为 DNN 稳健性的提升提供一个有用的新基准，并能激励神经科学家找到大脑中负责这一出色的稳健性机制。