神经网络会犯一些人类根本不会犯的错误

如今，深度学习已经不仅局限于识别支票与信封上的手写文字。比如，深度神经网络已成为许多CV应用的关键组成部分，包括照片与视频编辑器、医疗软件与自动驾驶汽车等。神经网络的结构与人类大脑相似，观察世界的方式也与人类更相近。但是，神经网络还是会犯一些人类根本不会犯的错误，改进空间仍很大。

对抗样本：如果在这张熊猫图片上添加一个不可察觉的噪声层，会导致卷积神经网络将熊猫误识别为长臂猿。这些情况通常被称为“对抗样本”（adversarial examples），不经意就改变AI模型的行为。对抗机器学习是当前人工智能体系的最大挑战之一。对抗样本可能会导致机器学习模型的意外失败，或使模型容易受到网络攻击。因此，构建可抵御对抗攻击的AI系统，已成为AI研究的热门话题之一。在CV中，保护深度学习系统免受对抗攻击的方法之一，是应用神经科学领域的研究发现，来缩小神经网络与哺乳动物视觉系统之间的差距。使用这一方法，MIT与MIT-IBM Watson AI Lab的研究人员发现，若将哺乳动物视觉皮层的特征直接映射到深度神经网络上，则能够创建行为可预测、且面对对抗干扰（adversarial perturbation）时更“鲁棒”的AI系统。在论文“Simulating a Primary Visual Cortex at the Front of CNNs Improves Robustness to Image Perturbations”中，研究人员介绍了一种叫做“VOneNet”的架构，将当前的深度学习技术与受神经科学启发的神经网络相结合。

这项工作是由来自慕尼黑大学、路德维希·马克西米利安大学和奥格斯堡大学的科学家的帮助下完成的，已被NeurIPS 2020接收。1

关于卷积神经网络

目前，计算机视觉所使用的主要架构是卷积神经网络（CNN）。当多个卷积层堆叠在一起时，卷积层可训练于从图像中学习和提取层次特征。叠得较低的层可以发现角、边等常规图案，叠得较高的层则会越来越擅长发现图像上的具体事物，比如物体与人。

图注：神经网络的每一层都会从输入图像中提取特定特征。与传统的全连接网络相比，ConvNet更“鲁棒”、计算效率也更高。但是，CNN和人类视觉系统处理信息的方式之间仍然存在根本差异。“深度神经网络（尤其是CNN）已经成长为出色的视觉皮层模型，更令人惊讶的是，与专门用于解释神经科学数据的计算模型相比，它们更拟合从大脑中收集的实验数据 。”MIT-IBM Watson AI Lab的IBM总监David Cox介绍道。“但并不是每个深度神经网络都能很好地匹配大脑数据，且大脑与DNN之间一直都存在差距。”自2000年开始，Cox进入MIT师从神经科学教授James DiCarlo以来，他就一直在探索神经科学和人工智能的交叉领域。

“但是，能够欺骗DNN的图像却永远也不可能欺骗人类的视觉系统，” Cox说。“同时，DNN难以抵抗图像的自然退化（比如增加噪音），因此，鲁棒性通常是DNN的一个开放问题。考虑到这一点，我们认为可以从这个角度去寻找大脑和DNN之间的差异。”“大脑是一个功能强大且高效的信息处理机器。那么，我们是否能从大脑中学习可以实际有用的新技巧呢？同时，我们可以利用对人工系统的了解来提供指导理论和假设，帮助我们进行了解人类大脑的实验。” Cox说。2

类脑神经网络

这篇论文的主要作者是Joel Dapello和Tiago Marques，Cox和导师DiCarlo加入他们，主要研究当神经网络的激活与大脑活动相似时，神经网络是否对对抗攻击更具有“鲁棒性”。AI研究人员测试了在ImageNet数据集上训练的几种流行的CNN架构，包括AlexNet，VGG和ResNet的各种变体。此外，他们还测试了一些已经过“对抗训练”的深度学习模型，在这个过程中，神经网络在对抗样本中进行训练，以避免分类错误。科学家使用“ BrainScore”指标评估了AI模型，该指标比较了深度神经网络的激活和大脑的神经反应。然后，他们通过白盒对抗攻击测试来测量每个模型的鲁棒性，在测试中，攻击者对目标神经网络的结构和参数有充分了解。“令我们惊讶的是，模型越像大脑，系统对抗对抗攻击的鲁棒性就越强，” Cox说。“受此启发，我们好奇，是否有可能通过在网络输入阶段添加基于神经科学实验的视觉皮层模拟来提高鲁棒性（包括对抗性鲁棒性）。”

图注：研究表明，BrainScores更高的神经网络，对白盒对抗攻击也具有更强的鲁棒性。3

VOneNet与VOneBlock

为了进一步验证他们的发现，研究人员开发了一个叫做“VOneNet”的混合深度学习架构，将标准的CNN与一层以神经科学为灵感的神经网络相结合。VOneNet用VOneBlock代替了CNN的前几层。VOneBlock是一种根据灵长类动物的初级视觉皮层（也称为V1区域）所形成的神经网络架构。也就是说，图像数据首先由VOneBlock处理，然后再传递到网络的其余部分。VOneBlock本身由Gabor filter bank（GFB）、简单和复杂的细胞非线性、神经元随机性（neuronal stochasticity）组成。GFB与其他神经网络中的卷积层相似。但是，尽管经典的神经网络具有随机参数值，在训练期间也会对参数进行调整，但GFB参数的值是根据初级视觉皮层的激活来确定和调整的。

图注：VOneBlock是一种模仿初级视觉皮层功能的神经网络架构。“ GFB的权重与VOneBlock的架构选择是根据生物学来设计的。这意味着，我们为VOneBlock所做的所有选择都受到了神经生理学的限制。换句话说，我们设计了VOneBlock来尽可能地模仿灵长类动物的初级视觉皮层（V1 区域）。我们考虑了过去四十年中从几项研究中收集到的可用数据，以确定VOneBlock参数。”论文的共同作者之一Tiago Marques介绍道。

尽管不同灵长类动物的视觉皮层存在一定差异，但也有许多共同特征，尤其是在V1区域。“大量研究表明，猴子的物体识别能力接近人类。我们的模型使用了已发布的可用数据来表征猴子的V1神经元的反应。尽管我们的模型仍只是灵长类动物V1的近似值（它不包括所有已知数据，这些数据甚至在某种程度上受到了限制——我们对V1处理信息的过程了解还不够），但这是一个很好的近似值。”Marques解释。除了GFB层之外，VOneBlock的简单和复杂细胞还为神经网络提供了在不同条件下检测特征的灵活性。“最终，物体识别的目标是不依赖物体的确切形状、大小、位置和其他低层特征来识别物体的存在，”Marques说。“在VOneBlock中，简单和复杂的单元在不同图像扰动下的支持性能方面似乎起到互补的作用。简单单元对于处理常见的损坏特别重要，而复杂单元则擅长处理白盒对抗性攻击。”4

VOneNet的运作

VOneBlock的优势之一是与当前CNN架构的兼容性。VOneBlock在设计时专门设置了即插即用功能，这意味着它可以直接替代标准CNN结构的输入层。紧随VOneBlock核心的过渡层则可以确保其输出与CNN架构的其余部分兼容。研究人员将VOneBlock插入几个在ImageNet数据集上表现良好的CNN架构。有趣的是，添加了简单的块后，白盒对抗攻击的鲁棒性得到了显着提高，且性能优于基于训练的防御方法。研究人员在论文中写道：“在标准CNN架构的前端模拟灵长类初级视觉皮层的图像处理，可以显着提高其对图像扰动的鲁棒性，甚至使它们的性能优于最新的防御方法。”

图注：实验表明，包括VOneBlock的卷积神经网络在抵抗白盒对抗攻击时更具有灵活性。“添加了V1的模型实际上非常简单。我们只是更改系统的第一阶段，同时保持网络的其余部分不变，且此V1模型的生物保真度也仍然非常简单。”Cox 说，并提到可以将更多细节和细微差别添加到这个模型中，使其与人类大脑更接近。Cox认为：“在某些方面，简单是一种优势，因为它隔离了可能重要的较小原则集，但有趣的是，它探索了生物保真度的其他方面是否重要。”该论文挑战了过去几年中在AI研究领域越来越普遍的一种趋势。许多AI科学家在研究中没有应用关于脑机制的最新发现，而是专注于利用可用的庞大计算资源和大数据集来训练越来越大规模的神经网络，来推动AI领域的进步。但这种方法给人工智能研究带来了许多挑战。VOneNet证明，生物智能仍然有很大的发展潜力，可以解决AI研究正面临的一些基本问题。论文所介绍的模型直接采自灵长类动物神经生物学，只需要较少的训练便能实现更类人的行为。这是良性循环的新转折：神经科学和人工智能相互促进并增强了对方的理解和能力。在未来，本文的研究人员将进一步探索VOneNet的特性，以及神经科学和AI研究发现的进一步融合。据Cox介绍，这项工作目前只有一个局限性，即虽然已经证明了添加V1块可以带来改进，但他们却无法很好地理解为什么会有这样的改进。发展理论，以找到改善的原因，能够帮助AI研究人员最终了解真正重要的步骤，并建立更高效的系统。原文链接：https://bdtechtalks.com/2020/12/07/vonenet-neurscience-inspired-deep-learning/

原文标题：即插即用：把仿生模块和CNN拼接，对抗攻击鲁棒性显著提高！

文章出处：【微信公众号：通信信号处理研究所】欢迎添加关注！文章转载请注明出处。

责任编辑：haq