通过“遗忘”机制防止机器人接管世界

人工智能机器可以从他们行动的结果中进行学习来提高自己的能力，但专家说这种特性可能会导致 AI “不能被阻止”。 现在, 一组人工智能研究人员已经开发出了一个系统，他们将这个系统比作《黑衣人》(Men in Black)电影中的“记忆消除器”(neuralyzer)，通过删除部分记忆来阻断人工智能，同时又不影响它的学习方式。

具有人工智能的机器可以从自己的行为结果中学习，以提高自己的能力。但专家表示，这个特点可能会导致人工智能“无法被终止”。现在，一组人工智能研究人员已经开发了一个系统，他们把这个系统比作电影《黑衣人》中具有擦除记忆功能的“记忆消除器”，通过删除部分记忆来从实质上终止人工智能，但却不会中断其学习进程。

人类必须找到方法来防止AI绕过人的命令。相关研究人员、EPFL分布式程序设计实验室的教授Rachid Guerraoui说：“人工智能总是试图避免人为的干预，并创造一个不能被终止的情况。最大的挑战不是让机器人停止运行，而是通过编程让外部干预不会改变其学习进程-并且不会导致机器人调整它的行为，以避免被终止。”

以前的努力试图在较小规模上解决这个问题，聚焦于单个机器人。但是，随着自动驾驶汽车和其他互联设备的兴起，研究人员认为这个问题已经变得复杂得多。例如，对于自动驾驶汽车来说，人类需要能够接管驾驶权-但这种中断可能会影响汽车和其它学习者的行为。如果一个驾驶员经常刹车，那么另一辆自动驾驶汽车就会调整自己的行为，并对何时进行刹车产生“困惑”。这将使人类能够在必要时中断AI的学习过程。而且，这种干预可以在不影响学习过程的情况下完成。

El Mhamdi说：“简而言之，我们在学习算法中增加了“遗忘”机制，从本质上删除了机器内存中的某些数据。这有点像电影《黑衣人》中的记忆消除器。”研究人员表示，这种方法改变了机器的学习和奖励系统，使过程不受中断的影响。

到目前为止，该研究团队表示，如果“犯错的后果很轻微”，该系统运行良好。El Mhamdi称，在系统进行学习时，通过运行一个加分和减分算法，可以用它来模拟AI公交车。根据这个团队的说法，这可能会使自动驾驶车辆和无人驾驶飞机变得更加安全。El Mhamdi表示：“特斯拉正在进行此类模拟。”

一旦系统经历了足够的这种学习，我们可以将这种预先训练好的算法安装在具有较低探测率的自动驾驶汽车中，因为这样可以扩大其应用范围。