避免AI失控的方法科学讨论分析

2017年12月，瑞士洛桑联邦理工学院（EPFL）的科研人员提出了一种旨在避免人工智能系统失控的方法。

在人工智能中，机器执行具体的动作，观察结果，相应地调整其行为，然后观察新的结果，再一次调整行为，如此循环往复，从这种迭代过程中进行学习。但是这个过程会失控吗？可能会。“人工智能总是尝试避免人类干预，创造不可被停止的情形。”进行这项研究的瑞士洛桑联邦理工学院（EPFL）分布式编程实验室（Distributed Programming Laboratory）教授表示。这意味着人工智能工程师必须防止机器最终学会规避人类的指令。研究该问题的瑞士洛桑联邦理工学院研究人员已经发现了一种方式，供人类操作者控制一组人工智能机器人；2017年12月4日周一，他们将在美国加州举行的神经信息处理系统大会（Neural Information Processing Systems, NIPS）上展示其发现。他们的工作极大地促进了自动驾驶车辆和无人机等的发展，让这种设备能以群为单位安全地运行。

人工智能中所用的一种机器学习方法是强化学习，代理进行某些动作而得到回报。这是从行为心理学借鉴的一种技术。工程师将这种技术应用到人工智能，采用得分制，机器学习采取了正确的动作就得分。例如，机器人将一组盒子正确地堆起来就得一分，从外面取出一个盒子又得一分。但是，如果譬如雨天，机器人到外面去拿盒子的时候被人类操作员中断，机器人就会学到最好待在室内堆盒子，尽可能多得分。“挑战不在于阻止机器人，而在于对它编程，让中断不会改变它的学习过程——也不会促使其优化自己的行为来避免被阻止。”研究人员表示。

01

从单独的机器到整个人工智能网络

2016年，谷歌DeepMind和牛津大学人类未来研究所（Future of Humanity Institute）的研究人员联合开发了一种学习策略，防止机器从受到的中断学习从而变得不可控。例如，在上个例子中，机器人的回报——所得分数——与下雨的概率有关，更鼓励机器人去取外面的盒子。“这种情况下，解决方案很简单，因为我们讨论的只是一个机器人。”研究人员说。

但是，人工智能被越来越多地用于涉及了数个机器的应用，例如路上的无人驾驶车辆，或者空中的无人机。“这会让事情复杂得多，因为机器开始相互学习——在受中断的情况下尤为如此。它们不仅会学习自己如何被中断，还会学习其他机器如何被中断。”另一位研究人员指出。

研究人员举了一例：在狭窄道路上行驶的两辆无人驾驶汽车无法超过对方，它们就互相跟随。它们必须尽快到达目的地而不违反任何交通规则，车上的人随时能接管车辆的控制权。如果在第一辆车中的人经常刹车，那么第二辆车每次都会调整自己的行为，最终就搞不清楚何时刹车了，可能是离第一辆车太近或者开得太慢。

02

让人类具有最终决定权

瑞士洛桑联邦理工学院的研究人员致力于通过“安全的可中断性”来解决这种复杂问题。他们的突破性方法让人类在必要时中断人工智能的学习过程，同时确保这种中断不会改变机器的学习方法。“简单来说，我们将‘遗忘’机制加入了学习算法，本质上是删除机器内存的一些位。这有点像电影《黑衣人》（Men in Black）中的那种闪存设备。”研究人员表示。换言之，研究人员改变了机器的学习和回报体系，让其不受中断的影响，就像是如果父母惩罚一个孩子，但不会影响到家中其他孩子的学习过程。

“我们研究了现有算法，展示了无论人工智能系统多复杂、涉及的机器人有多少、中断的类型如何，安全的可中断性都能成功。如果我们将其用于‘终结者’（Terminator），仍然可以取得成功。”研究人员说。

目前，运用强化学习的自动驾驶汽车还不常见。“如果犯错的后果微不足道，那这个系统真的工作得很不错。”研究人员说，“在没有人类监督的完全自主情况下，因为安全原因该系统就不能用于城市的无人驾驶穿梭巴士中。但是，我们可以模拟穿梭巴士和该城市，运行人工智能算法，让穿梭巴士系统在学习过程中得分和扣分。例如，无人驾驶汽车特斯拉（Tesla）正在进行的就是这种模拟。一旦系统已经进行了足够的这种学习，我们就可以在低探索率的无人驾驶汽车上安装这种预训练的算法，这能使应用更广泛。”当然了，也会确保人类仍然具有最终决定权。