讨论深度神经网络、AI研究从大脑得到的启发

深度学习教父、图灵奖得主Geoffrey Hinton今天在谷歌I/O大会的“炉边聊天”上发表演讲，讨论了深度神经网络、AI研究从大脑得到的启发，以及真正理解大脑将如何改变许多领域。

最新一届图灵奖得主、多伦多大学教授兼谷歌大脑高级研究员 Geoffrey Hinton 今天在谷歌 I/O 开发者大会的炉边聊天上发表了演讲。

Hinton 讨论了神经网络的起源 —— 模拟生物神经元的数学函数层，以及 AI 有朝一日能够像人类一样进行推理的可行性和意义。

Hinton 被称为 “人工智能教父”。过去 30 年里，Hinton 一直致力于解决 AI 面临的一些最大的挑战。除了在机器学习方面的开创性工作，Hinton 还撰写 (或与他人合作撰写) 了 200 多篇 AI 论文，包括 1986 年发表的一篇开创性的机器学习技术论文 —— 反向传播。

Hinton 推广了深度神经网络这一概念，即以反向传播为基础的 AI 模型，其中包含相互连接的层，传输 “信号” 并调整连接的突触强度 (权重)。通过这种方式，神经网络可以从输入数据中提取特征，并学会做出预测。

你只需要注意力机制！深度神经网络优化始于Transformers

深度神经网络得到大幅优化是在两年前，谷歌的研究人员发表一篇名为 “Attention Is all You Need” 的论文，提出名为 Transformers 的神经网络架构。

Transformers 抛弃了传统的 RNN/CNN 结构，从自然语言本身的特性出发，实现了完全基于注意力机制的 Transformer 机器翻译网络架构。

得益于动态计算权重的注意力机制，Transformers 在语言翻译任务中胜过了此前最先进的模型，同时大幅减少了训练所需的计算量。

Hinton 承认，创新的速度甚至让他自己都感到惊讶。他说：“2012 年时，我没有想到仅仅 5 年之后，我们就能够使用相同的技术在多种语言之间进行翻译。”

尽管如此，Hinton 认为目前的 AI 和机器学习方法仍然存在局限性。他指出，大多数计算机视觉模型缺少反馈机制 —— 也就是说，它们不会尝试从更高层次的表示中重建数据。相反，它们试图通过改变权重来区别性地学习特性。

Hinton 说:“它们并没有在每一层的特征检测器上检查是否能够重建下面的数据。”

AI系统主要是无监督的，Hinton团队转向人类大脑启发

Hinton 和同事们最近开始转向人类视觉皮层寻找启发。Hinton 说，人类的视觉采用一种重建的方法来学习，事实证明，计算机视觉系统中的重建技术增强了它们抵抗对抗性攻击的能力。

“脑科学家们都同意这样的观点，即如果你的大脑皮层有两个区域处于感知通路 (perceptual pathway) 中，并且一个区域与另一个区域之间存在连接，那么总会有一个反向的通路。”Hinton 说。

需要说明的是，Hinton 认为神经科学家可以从 AI 研究人员那里学到很多东西。他认为未来的 AI 系统将主要是无监督的。无监督学习是机器学习的一个分支，可以从未标记、未分类的测试数据中提取知识 —— 在学习共性和对共性是否存在做出反应的能力方面，无监督学习的能力几乎达到人类水平。

Hinton 说：“如果你采用一个拥有数十亿参数的系统，对某个目标函数执行随机梯度下降，它的效果会比你想象的好得多…… 规模越大，效果越好。”

“这使得一种说法变得更加合理，即大脑计算某些目标函数的梯度，并根据梯度更新突触的强度。我们只需要弄清楚它是如何得到梯度的，以及目标函数是什么。”

这甚至可能解开梦的奥秘。“为什么我们根本不记得我们做过的梦呢？”Hinton 反问道。

他认为这可能与 “忘却”(unlearning) 有关，他在与人合著的一篇关于玻尔兹曼机的论文中解释了这一理论。玻尔兹曼机是由对称连接的、类似神经元的单元组成的网络，可以随机决定是 “on” 还是 “off”。Hinton 说，“它们发现…… 观察到的数据不那么令人惊讶”。

Hinton 说:“梦的意义可能在于，你把整个学习过程颠倒过来了。”

未来需要真正理解大脑的运作方式

Hinton 相信，这些知识可以改变许多领域，比如教育。例如，他预计教学课程将考虑人类生物化学，因此会更加个性化，更具针对性。

他说：“人们可能会认为，如果我们真正理解了大脑，我们应该能够改善教育等方面的状况，我认为这是会实现的。”

“如果我们最终能够了解大脑中正在发生什么，大脑是如何学习的，就能适应环境，从而更好地学习。”

但他也警告说，这一切都需要时间。就近期而言，Hinton 设想了智能助理的未来 —— 比如 Google Assistant 或亚马逊的 Alexa—— 它们可以与用户互动，并在日常生活中为用户提供引导。

Hinton 总结说：“再过几年，我不确定我们会学到多少东西。但如果你仔细观察，你会发现智能助理现在已经相当聪明了。一旦 AI 助理能够真正理解对话，它们就能和孩子们真正地交谈，并提供教育。”