一项关于可解释人工智能规划（XAIP）的工作调查

来自IBM Watson和亚利桑那州立大学的一组研究人员发表了一项关于可解释人工智能规划（XAIP）的工作调查。 这项调查涉及67份文件和图表，显示了该领域的最新趋势。

该小组由ASU的Yochan实验室的Subbarao Kambhampati教授领导，重点审查了自动化规划系统领域：那些产生旨在实现目标状态的行动（或计划）序列的系统。 可解释的规划系统能够回答为什么选择特定的行动或行动顺序的问题。 该小组指出，这一领域中可解释的系统可分为基于算法的系统、基于模型的系统或基于计划的系统，近年来所有类型的研究都有所增加，但大多数工作都是基于模型的系统。

可解释AI（X AI）近年来一直是一个积极的研究课题，受到DARPA2016年倡议的推动。 计算机视觉和自然语言处理等“感知”问题的机器学习的广泛采用，导致了分类器的可解释性技术的发展，包括LIME和AllenNLP解释技术。 虽然感知是决定其环境现状的一项重要技能，但一个自主系统-机器人、自动驾驶汽车，甚至是一个玩游戏的人工智能-也必须决定该做什么。 这些人工智能系统通常采用规划，这产生一系列行动，供人工智能采取，以实现其目标。

可解释的人工智能规划（XAIP）系统能够回答有关其计划的问题;例如，为什么某一特定行动被或不包括在计划中。 该团队将这些系统分类为基于算法、基于模型或基于计划的系统。 基于算法的解释通常对系统设计者调试算法最有帮助，而不是最终用户。 基于计划的解释使用摘要或抽象，使用户能够理解“在长时间范围内和在大的状态空间内运行的计划。” 大多数研究都是基于模型的解释，其中考虑到了这样一个事实，即用户的计算能力比人工智能低得多，而且往往有一个不同于“地面真相”的心理模型。 对于这些系统，解释需要协调用户的心理模型和系统模型。

DARPA的XAI计划指出，可解释系统的一个动机是提高用户对AI结果的信任。 然而，Kambhampati的研究团队指出，解释过程也可能被“劫持”，以产生“不再是真实的，而是用户认为满意的任何东西”的解释。 其他研究人员认为，如果人工智能和机器人要在社会上有效，这种欺骗甚至可能是必要的。 深度学习的先驱杰弗里·辛顿（GeoffreyHinton）在推特上淡化了解释能力的必要性：

假设你患有癌症，你必须在一个黑匣子AI外科医生之间做出选择，这个医生无法解释它是如何工作的，但治愈率为90%，而人类外科医生的治愈率为80%。 你想让人工智能外科医生违法吗？

Kambhampati认为这是一个“错误的二分法”，认为从长远来看，我们既要有准确性，也要有可解释性。