OpenAI推出了一款名为“显微镜”的神经元可视化工具

在机器学习领域里，有个黑匣子，研究员通常不知道模型究竟是如何运行，做出决策的。这也成为了他们一直想要弄明白的课题之一。

当地时间4月14日，非营利组织OpenAI推出了一款名为“显微镜”（Microscope）的神经元可视化工具，包含了9个当下流行的神经网络。正如它的名称一样，这套新工具可以像实验室中的显微镜一样，帮助AI研究人员更好地理解拥有成千上万神经元的神经网络结构和行为。

神经元可视化

OpenAI成立于2015年底，是一个非营利的人工智能研究组织，旨在通过促进和发展友好的人工智能，而使人类整体受益，创始人中有硅谷“钢铁侠”马斯克。

OpenAI在自己的官方博客上称，“显微镜”对几种常见模型里每一个重要层和神经元都做了可视化，对神经网络的可解释性进行了研究。“显微镜”让分析这些神经网络内部特征变得更加容易，也能帮助研究员朝着理解这些复杂系统的发现前进。

神经元可视化图例

据OpenAI介绍，“显微镜”的模型由神经网络层的“节点”图组成，这些图通过“边”相互连接。每个操作包含数百个“单元”，大致类似于神经元。在机器学习和认知科学领域，神经网络是一种模仿生物神经网络结构和功能的数学模型。神经网络由大量的人工神经元联结进行计算。我们的神经元可以给一些输入，然后输出一个结果，在机器学习中，神经元也起到相同的作用，它是一个数学函数的占位符，它的工作就是对输入使用一个函数，然后给一个输出结果。

“显微镜”包含的初始模型包括了机器学习领域里重要，且经过广泛研究的计算机视觉模型。例如，2012年ImageNet挑战赛冠军AlexNet， AlexNet在研究中被引用了5万次以上；还有2014年ImageNet赢家GoogleNet，以及ResNet v2。OpenAI表示每种模型的可视化都带有一些场景，并且图像在OpenAI Lucid库中可用，也可以在Creative Commons授权许可下重复使用。

“我们希望任何想知道神经网络如何运行的人，都可以使用这个工具。这个工具的主要价值在于可以提供持久的共享成果，从而促进对这些模型的研究。我们还希望有相关专业知识的研究人员，例如神经科学家能够轻松使用这些模型，同时还能从模型中找到价值。”OpenAI称。

除了“显微镜”的神经元可视化外，近年来，机器学习领域里也有人试图将机器学习模型的活动可视化。Facebook在去年秋天推出了Captum，使用可视化技术来解释机器学习模型做出的决策。2019年3月，OpenAI和Google还发布了激活地图集技术，将机器学习算法做出的决策进行了可视化。