机器学习如何解释自己的决策

神经网络的预测能力推动了最近的人工智能热潮，但很难解释他们是如何做出决定的。一项旨在揭示语言处理网络内部工作原理的新技术，只是为揭示这些“黑匣子”而做出的最新努力。

我们发现神经网络如此神秘，这可能并不奇怪，因为它们基本上是基于人类大脑而建立的，我们也在努力破译这些神经网络。他们学习的模型并不像传统的计算机程序那样整齐地存储在数据库中，而是由成千上万的虚拟神经元之间的连接组成。

这些连接不是由人类程序员设定的，相反，神经网络本质上是通过在大量数据中寻找模式来进行编程。因此，虽然你可以测试一个神经网络在照片中检测到猫的效果，但要判断出它们的存在与否，你很难辨明它们的视觉模式。

“当涉及到照片中猫的检测时，这并不是什么大问题，但这项技术正在悄然进入一些领域，在这些领域，能够解释这些决定可能很重要。”

说到检测到猫的存在，这并不是什么大问题，但这项技术正在悄然进入一些领域，在这些领域中，能够解释这些决策可能很重要，比如金融交易和疾病诊断。这导致了越来越多的研究试图让这些算法的决策能解释得更清楚。

本月上旬，麻省理工学院的工程师们公布了一项技术，该技术有望提供关于任何自然语言处理网络的洞察和分析，而不管其背后的软件是什么。这是因为它的工作原理是简单地把输入转换成算法，并测量对输出的影响。

该研究小组利用他们自己的神经网络，对自然句子进行压缩和解压，得出与之相关的句子，然后将这些句子输入到被访问的神经网络中。通过分析输入的细微变化如何改变输出，研究人员能够发现网络对特定词汇和短语的反应。

他们进行的一项测试是在微软Azure云服务的一项翻译服务上进行的。法语有不同的名词形式，这些名词形式取决于主语的性别。例如，男舞者是“danseur”，而女性舞者则是“danseuse”。

研究人员发现，在包含诸如博士、教授等职业的句子中，这种模型容易表现出男性化的倾向，比如聪明的或有天赋的，而在模型表现成女性化的形式时，则倾向于迷人的或者富有同情心的主体，比如舞者或护士。

这种性别倾向很难通过简单地搜索翻译服务的神经网络架构来发现，但其影响可能是潜在的。能够发现这种倾向是促使神经网络更容易解释的关键因素，但它也可以帮助研究人员排除那些导致错误的假设，从而提高他们的表现。

麻省理工学院的这一研究也遵循了华盛顿大学的类似研究，该研究也使用了输入的变量来观察模型的预测行为。它解决了分类算法更简单的问题，但它也可以通过突出显示图像的某些部分来进行预测，从而在图像处理算法方面发挥作用。

英伟达提出了一种更简单的方法，可以在处理自动驾驶汽车的PilotNet系统所使用的视频时实现同样的效果。通过把网络的更高层次的输出叠加到下层上，他们就能创建一个“可视化的面具”，突出显示网络认为重要的实时视频消息流的功能。

更进一步的话，一些研究人员试图创造出人工智能来解释它的决定，而不仅仅是专家来进行解释。来自美国和德国的研究人员最近公布了一种算法，该算法不仅可以分析图片，回答“哪种运动正在播放”等问题，还可以用“棒球员手握球棒”这样的短语来回答“棒球”这样的问题。

Mark Riedl是位于亚特兰大的乔治亚理工学院娱乐情报实验室的主任，他让一些人玩了电脑游戏“青蛙”，并在他们玩的过程中解释他们的策略。他将这些数据与描述游戏状态的代码一起记录下来，然后在这两种情况下训练了一个神经网络。当他把这个网络连接到另一个设计游戏的网络时，他创造了一个人工智能，使其可以在玩游戏的过程中合理化自己的行为。

虽然对可解释的人工智能研究还处于初级阶段，但欧盟最近的一项指令可能会给该领域的研究增添一种紧迫感。定于明年生效的通用数据保护条例（GDPR）将有效地创造一种“解释权”，使公民能够要求做出关于算法决策背后的逻辑。

正如埃森哲的分析师在一篇博客文章中指出的那样，关于这种新权利的程度存在争议，但他们仍然建议企业接受可解释的人工智能，以便在未来证明自己的企业不受监管机构的影响。

这一领域也可能会有大笔资金投入。金融巨头Capital One正在研究如何让机器学习算法来解释他们的决策，美国国防高级研究计划局（DARPA）正在资助13个致力于解决这个问题的研究小组。这其中包括来自俄勒冈州立大学的一个小组，他们计划用第二个神经网络来分析神经网络，以确定神经活动对特定决策的影响。

但谷歌的研究主管Peter Norvig最近质疑这些方法最终会有多大用处。他说，即使有了人类，认知心理学家也发现，当你让别人解释他们的决定时，他们通常会以可能与实际决策过程无关的方式来理解他们的行为。

他在悉尼的一次活动上说：“因此，我们可能会在机器学习领域处于同一个位置，在这个阶段我们训练一个系统来获得答案，考虑到第一个系统的输入，然后我们才会训练另一个系统，现在你的工作就是做出解释。”

相反，他说，随着时间的推移，研究这些算法的输出可能会更有用，以识别偏差和错误。那么，问题是这是谁的责任：是过度扩张的公共机构、还是学术机构或企业，在保护其人工智能能力的声誉方面拥有既得利益。

在现实中，这可能需要两者的结合。人工智能开发者需要找到方法来解释他们的创意所做出的决定，但我们不能只接受他们的说法。还需要对这些决定如何影响人们的生活进行密切的观察。