机器越智能，人们预测解释和理解其影响的能力就越差

简介

AI研究人员开始将AI安全工程设计面临的主要挑战列为过去60年AI失败的主要原因，例如价值观对接问题。同时，另一个现实问题也暴露出来：机器越智能，人们预测、解释和理解其影响的能力就越差。

不可预测性

AI的不可预测性是指我们无法准确、连贯地预测系统将采取哪些具体措施来实现其目标。例如，在一场智能国际象棋比赛中，我们可以预测AI将获胜（如果这是它的目标），但是我们无法预测AI为了取胜具体会怎样走棋。这种情况的后果还无关紧要，但随着目标的智能性和复杂性增加，不可预测性也会随之放大。如第2部分所述，假设通过AI来帮助治疗癌症，理论上讲，它可以把杀死人类算作把病治好了。

这些中间步骤取决于几个因素，包括AI在整个过程中的互动。在第3部分中介绍过Microsoft的聊天机器人Tay，因为与人们的在线互动而被“教坏”，成了一个狂飙脏话的种族主义者。而且，较低的智能系统无法学会预测较高智能系统做出的决策。先进的AI可以理论化所有可能的选择、决策或策略，而人类则没有这种能力。有的细分应用系统虽然总体上相对人类力不能及，但在某些领域具有比人类更胜一筹的智能，这些系统可能会出现类似情况。

不可解释性

不可解释性是指无法以一种可理解的准确方式来解释智能系统做出的决策。例如，应用于按揭贷款审批的AI可能会通过数百万甚至数十亿的加权因子进行决策。但是当申请人被拒绝时，会用一两个因素来解释，例如“不良信用”或“工资不够”。但是，这种解释充其量只是其简化过的决策结论。这类似于低质量的图像压缩，在压缩过程中，即使生成的图像在很大程度上代表了原始图像，但数据还是在压缩过程中丢失了。同理，把拒绝按揭的原因解释为“不良信用”，也就忽略了其他因素可能产生的影响。由此给出的解释是不完整的，因此也不是100%准确。

其他因素是否也应列为拒绝的主要原因？有可能。以美国为例，不可以根据是否属于受保护阶层来作出涉及贷款、住房、医疗保健等方面的决定。用于审批按揭贷款的AI不能在决策过程中使用年龄或性别等因素，但此类数据却可能会成为决策因素。例如，如果按揭公司曾拒绝向在旧金山生活的18-25岁没有大学学历的拉丁裔女性提供贷款，那么AI可能会认为符合这些条件的申请人的违约风险更高，而不考虑申请人其他的有利条件。在这里又冒出了不可预测性，但这是一个很好的例子，说明了决策需要能够被准确、完整地解释的重要性。

不可理解性

如果对拒绝按揭贷款申请的原因进行了完整而准确的解释，那么这种解释是否可以理解呢？可理解性或多或少与个人有关，具有金融学位或多年按揭贷款行业经验的人比没有类似领域知识的人会对准确而完整的解释有更透彻的理解，或理解起来更加轻松。

尽管如此，一个将百万个不同加权因子纳入考量的系统所作出的具体响应仍然可能不被人类所理解，因为我们没有理解如此多相互关联变量的存储容量、记忆力和能力。

AI安全性的意义

不可预测性、不可解释性和不可理解性使实现100%安全的AI成为妄想，因为即使是已得到公认的标准、法律和工具也无法恰如其分地鼓励或阻止不良影响。即使有能力预测AI行为，我们也无法在不限制智能或系统价值的情况下有效地控制行为。当然，评估和调试AI故障需要可理解的解释，随着机器智能的提高，做到这一点的可能性越来越小。

原文标题：人类必须勒紧AI和机器的缰绳

文章出处：【微信公众号：贸泽电子】欢迎添加关注！文章转载请注明出处。

责任编辑：haq