人工神经网络能够从动物大脑中学到什么？

人工神经网络(ANN)和大脑有着许多相似的地方，那么ANN到底从动物大脑中学到了什么呢？Nature Communications近期发布了一篇文章便对此问题进行了讨论。研究人员认为，机器与生物的工作原理不同导致二者不可能做到高度相似。

人工神经网络能够从动物大脑中学到什么？ 尽管近年来人工智能取得了许多进步，但人工神经网络仍远未接近人类的智能。ANN可以在国际象棋和围棋等游戏中打败人类对手，但在大多数维度上——语言、推理和常识——它们甚至没有达到四岁儿童的认知能力。 也许更令人吃惊的是，ANN离简单动物的能力也还差得很远。许多最基本的行为——即使对简单动物而言似乎毫不费力的行为——最终被证明非常具有挑战性，是AI无法企及的。 我们无法建造出一台能筑巢、追踪猎物的机器。在很多方面，AI远未达到狗、老鼠、甚至蜘蛛的智力水平，而且看起来，仅靠扩大当前方法的规模也无法实现这些目标。 好消息是，如果AI真的能达到老鼠的智能水平，那么离人类的智能可能就只差一小步了。 近期，Nature Communications 便发表一篇论文，探讨了人工神经网络能够从动物大脑中学到些什么。

论文地址： https://www.nature.com/articles/s41467-019-11786-6 顾名思义，人工神经网络的发明是为了构建基于神经系统所使用的计算原理的人工系统。在接下来的内容中，我们从神经科学中发现了一些额外的原理，这些原理可能会加速实现老鼠水平的智能、甚至人类水平智能的目标。 研究人员认为，与人工神经网络不同的是，动物在很大程度上依赖于学习和先天机制的结合。这些先天过程通过进化产生，被编码在基因组中，并以连接大脑的规则的形式出现。研究人员讨论了这些观察结果对产生下一代机器算法的影响。 人工神经网络的学习 从人工智能的早期开始，就有两种相互竞争的方法：符号AI和人工神经网络。符号AI又称“有效的老式人工智能”(good old fashion AI)。 现代人工神经网络与它30年前的祖先非常相似。大部分进步可以归因于原始计算机能力的提高：仅仅因为摩尔定律，今天的计算机比上一代计算机快了几个数量级，GPU在人工神经网络上的应用更是加快了它们的速度。大数据集的可用性是第二个因素：在谷歌时代之前，收集用于训练的大量标记图像集是非常具有挑战性的。最后，现代人工神经网络比它们的前辈更有用的第三个原因是，它们需要更少的人为干预。现代的神经网络，特别是“深层网络”，从数据中学习适当的底层表示(如视觉特征)，而不是依赖手工连接来显式地编程。 在人工神经网络研究中，“学习”(learning)一词的用法与其在神经科学和心理学中的用法不同。在神经网络中，学习是从输入数据中提取结构，并将结构编码到网络参数中的过程。这些网络参数包含指定网络所需的所有信息。 从数据中提取结构并将其编码为网络参数(即权重和阈值)有三种经典范式。

在监督学习中，数据成对组成——一个输入项(如图像)和它的标签(如单词“giraffe”)——目标是找到为新的pair生成正确标签的网络参数。

在无监督学习中，数据没有标签；目标是在没有明确指导的情况下发现数据中的统计规律。例如，我们可以想象，有了足够多的长颈鹿和大象的样本，我们可能最终推断出这两类动物的存在，而不需要明确地给它们贴上标签。

最后，在强化学习中，数据被用来驱动行为，这些行为的成功与否是基于一个“奖励”信号来评估的。

人工神经网络的许多进步都是为监督学习开发更好的工具。监督学习的一个核心考虑是“泛化”(generalization)。随着参数数量的增加，网络的“表示能力”也随之增加，即网络能够处理的输入-输出映射的复杂性在增加。一个具有足够自由参数的网络可以适应任何函数，但是训练一个网络而不过度拟合所需的数据量通常也会随着参数的数量而变化。 如果一个网络有太多的自由参数，那么网络就有“过拟合”数据的风险，也就是说，它会在一组带标签的训练样本上生成正确的响应，但不能推广到新的样本上。在ANN的研究中，网络的灵活性（与神经元和连接的数量成比例）与训练网络所需的数据量（更多神经元和连接通常需要更多数据）之间的这种张力称为“偏差 - 方差权衡”(bias-variance tradeoff)，如图1所示。 具有更大灵活性的网络更强大，但是，如果没有足够的训练数据，网络对新的测试实例所做的预测可能是非常不正确的——比一个更简单、功能更弱的网络的预测要糟糕得多。套用“蜘蛛侠”的话来解释：能力越大，责任越大(获得足够的有标记训练数据)。偏方差权衡解释了为什么大型网络需要大量有标记的训练数据。

图1：机器学习中的“偏差-方差权衡”可以看作是奥卡姆剃刀的形式化。 动物的学习 “学习”一词在神经科学(和心理学)中指的是由经验导致的长期行为变化。在这一背景下的学习包括动物范例，如经典性条件反射和操作性条件反射，以及一系列其他范例，如观察学习或指导学习。虽然神经科学和人工神经网络在“学习”这个词的使用上有一些重叠，但在某些情况下，这些术语的差异足以导致混淆。 也许在使用上最大的分歧是“监督学习”一词的应用。监督学习是近年来人工神经网络在解决现实问题方面取得成功的关键。例如，监督学习作为一种范例，使得神经网络能对图像进行精确分类。然而，为了确保泛化，训练这种网络需要大量的数据集；一个视觉查询系统需要训练10⁷个“标记”示例(问答对)。 尽管这种训练的最终结果是一个人工神经网络，它至少在表面上模仿了人类对图像分类的能力，但人工系统学习的过程与新生儿学习的过程几乎没有相似之处。然而，一年也只有10⁷秒，所以一个孩子一生中每秒钟都要问一个问题，才能收集到相当数量的标记数据；当然，孩子们遇到的大多数图片都没有标签。 因此，可用的标记数据池与儿童学习的速度之间存在不匹配。显然，孩子们并不主要依靠监督算法来学习对物体进行分类。 诸如此类的考虑促使机器学习社区寻找更强大的学习算法，寻找假定能让孩子们在几年内学会如何驾驭世界的“秘密武器”。ANN社区中的许多人假设，我们主要依赖于非监督范式来构建世界的表示，而不是监督范式。 由于无监督算法不需要标记数据，因此它们可能会利用我们接收到的大量原始(未标记)感官数据。实际上，有几种无监督算法生成的表示让人联想到在视觉系统中存在的表示。 尽管目前这些无监督算法不能像监督算法那样有效地产生视觉表示，但没有已知的理论原则或约束可以排除这种算法的存在。每个学习模型都必须包含对它可以学习的函数类的隐式或显式限制。 因此，尽管孩子在出生后10⁷秒内所接触到的带标签的图像数量可能很少，但在这段时间内所接收到的全部感官输入却是相当大的；也许大自然已经进化出一种强大的无监督算法来利用这个巨大的数据池。发现这样一个无监督算法——如果它存在的话——将为下一代神经网络奠定基础。

动物的学习和天生行为

因此，一个核心问题是，没有大量监督训练数据集的情况下，动物如何在出生后如此迅速地运作。可以想象，无监督学习，利用比任何已发现的算法更强大的算法，可能在建立感官表征和driving behavior方面发挥作用。但即使是这样一种假设的无监督学习算法也不可能是全部。实际上，这种假设算法所面临的挑战甚至比它看起来还要大。 人类是一个outlier：我们花在学习上的时间可能比其他任何动物都多，因为我们有一个长期的不成熟期。许多动物在106、105、甚至出生后的几秒都能有效地发挥作用：松鼠出生后几个月内就可以从一棵树跳到另一棵树上，小马出生后几个小时内就可以行走，而蜘蛛出生后就可以捕猎了。这些例子表明，即使是最聪明的无监督算法，挑战也可能超过其能力。 因此，如果单凭无监督机制无法解释动物在出生时（或出生后不久）是如何如此有效地发挥作用的，那么还有什么选择呢？答案是，我们的许多感官表达和行为基本上是天生的。例如，许多嗅觉刺激天生具有吸引力或食欲（鲨鱼对血液）或厌恶（狐狸尿对老鼠）。 对视觉刺激的反应也可以是天生的例如，小鼠对即将到来的刺激作出防御性反应，这可能允许快速检测和避免空中捕食者。但先天机制的作用不仅仅是简单地建立对感官表征的反应。事实上，昆虫和其他短命动物的大部分行为都是天生的。在脊椎动物中也有许多复杂先天行为的例子，例如在求爱仪式中。 在哺乳动物中复杂的先天行为的一个突出例子是挖洞：在隧道的长度和复杂性方面，密切相关的deer mice物种在洞穴中的差异很大。这些先天的倾向与养育无关：由其他物种的养育的一只小鼠可以像他们的亲生父母那样挖洞。因此，似乎动物行为技能的一个主要组成部分并不是由聪明的学习算法监督或不监督的结果，而是已经存在于出生时的行为程序。 从进化的角度来看，很明显为什么天生的行为是有利的。动物的生存需要它解决所谓的“四个F” - feeding（进食）、fighting（战斗）、fleeing（逃跑）和交配。考虑一个物种X在出生时达到98％的成熟度，其竞争对手Y在出生时仅达到50％，需要一个月的学习才能达到成熟的表现。（这里的表现被视为一定程度的适应度，即个体生存和传播的能力）。所有其他方面都是相同的，例如，假设两个物种的成熟表现水平相同），物种X将超过物种Y（图2A）。

图2：先天策略和学习策略之间的进化权衡 然而，一般来说，所有其他事物都不可能是平等的。通过纯先天机制实现的成熟表现可能与通过额外学习实现的表现不同（图2A）。如果一个环境正在迅速变化，例如，在单个个体的时间尺度上，先天的行为策略可能无法提供一条途径，使其达到与部分依赖学习的混合策略相同的成熟水平。

结论

大脑为人工智能提供洞察力的观念并不新颖；实际上，它是ANN研究的基础。ANN代表了一种试图捕捉神经系统某些关键方面的尝试：许多简单的单元，通过突触连接，并行运行。随后的一些进展也来自神经科学。例如，最近成功的强化学习算法，如AlphaGo Zero，从动物学习研究中汲取灵感。同样，CNN的灵感来自视觉皮层的结构。 但人工智能的进一步发展是否会从动物大脑的研究中受益仍有争议。也许我们已经从动物的大脑中学到了我们所需要的一切。正如飞机与鸟类的区别一样，人们可以想象，智能机器的工作原理与生物有机体的工作原理完全不同。我们认为这是不可能的，因为我们对智能机器的需求，有时被错误地称为“通用人工智能”，根本不是通用的；如此紧密地匹配人的能力，只有与大脑类似的机器才能实现它。 从某种程度上说，飞机远比鸟类优越：它能在更高的高度、更长的距离、更大的载货能力下飞行得更快。但是飞机不能潜入水中捕鱼，也不能从树上无声地俯冲下来抓老鼠。同样地，现代计算机在某些方面已经大大超过了人类的计算能力（如国际象棋），但在被定义为通用智能的一组明确的专门任务上却无法与人类匹敌。 如果我们想要设计一个可以做我们所做的事情的系统，我们就需要根据相同的设计原则来构建它。