中国科学院院士姚期智：人工智能存在三大技术瓶颈

关于姚期智在2020年浦江创新论坛的演讲，迄今为止只见到头条推送的两篇报道，即“图灵奖唯一华人得主PPT：人工智能四大挑战，影响自动驾驶”（简称“四大挑战”）与“中国科学院院士姚期智：人工智能存在三大技术瓶颈”（简称“三大瓶颈”）。“四大挑战”一文中有4页PPT稿。PPT稿上，姚期智只提了“鲁棒性”与“可解释性”两大技术瓶颈，以及未来超级人工智能的终极挑战。“三大瓶颈”一文中将脆弱性、机器学习算法缺乏可解释性、人工智能的对抗性较弱列为三大瓶颈。上述两篇报道显然出自专业人士的现场报道，有助于对姚期智演讲的深入理解。

关于鲁棒性问题，可以解释成脆弱性、非安全性、非可靠性问题。人工智能系统设计历来重功能性设计，轻可靠性、安全性设计；或先功能性，后安全性、可靠性。在早期产品中这一现象尤为严重。在自动驾驭汽车领域，最终制约因素是安全性、可靠性问题，未来，无人驾驶汽车研发会因可靠性、安全性问题，成为“永在途中”的课题。

关于可解释性，可以理解成广义的开源性。可解释性就是如何让人们深入了解人工智能系统。以汽车为例，在工业革命时代，汽车驾驶者们对汽车原理、结构一目了然；现在，汽车对于驾驶员而言只是一个黑盒子，只有方向盘、油门、刹车这样一个应用界面。相比而言，工业革命时代的汽车有高度的可解释性，人工智能的新兴汽车无可解释性。同样，手机、数码相机、电视机相较于电话机、照相机、电子管电视机而言，无可解释性，对所有使用者都是黑盒子，无人去拆解、修理，去了解其内部结构，这是一种十分现实、十分先进的人工智能产品的傻瓜化应用模式，它将知识创新与创新知识应用彻底分离。然而，对于人工智能创新领域，不可解释性是一个技术创新的巨大障碍。硬件的透明、软件的开源，一定程度上解决了技术创新的可解释性障碍。目前，可解释性障碍突出表现在算法领域（人工智能三大基础之一），它阻碍算法的推广、评价与市场化，算法的碎片化现象会严重阻碍人工智能的发展。

关于第三个对抗性瓶颈，文中截取的PPT讲稿中，未能见到列举的这个瓶颈，也许可以归纳到鲁捧性中。

姚期智是一个极有远见、对人工智能有独到见解的大家。早年在清华大学的一次演讲中，他提出了人工智能时代的“大科学”概念。它表明：人工智能时代，已进入到诸多强势科学的交叉融合发展时代，各个强势学科都会以自己的视角（自以为是地）诠释人工智能。此次演中，姚期智提到超人工智能，并提出对超人工智能的三点期望。过去人们一直把人工智能分成弱人工智能与强人工智能。弱人工智能始于半导体微处理器诞生，是对人类智力的人工仿真；强人工智能始于大脑工程，是人工智能的智力创新时代。由于人工智能超高速度的疯狂发展，人们无法预见人工智能的未来，便有了后强人工智能的超人工智能概念。姚期智认为超人工智能具有很大的不确定性，人类会面对诸多种潜在威胁。对于超人工智能的未来，姚期智给出了未来制约智能机器的三个原则：一是利他，即人的利益凌驾于机器；二是谦卑，即机器不能自以为是；三是尽心，即机器能学懂人的偏好。每个原则都要用严格的算法来实现，这样就能有效驾驭人工智能。这是一个对未知时代的理性期望，希望人工智能最终能走向理性化道路。

延伸阅读文中提到的两篇报道：

图灵奖唯一华人得主PPT：人工智能四大挑战，影响自动驾驶

无论当前自动驾驶，或是今后无人驾驶，都离不开以人工智能为基础的算法、算力和数据支撑，最近也一直在学习相关的知识。

全球人工智能顶级大咖，也是图灵奖唯一华人获得者姚期智，在2020浦江创新论坛上，从前瞻和顶层的角度，发表了“人工智能面对的挑战”，个人觉得很有启发，这里与读者进行分享。

“鲁棒性”和“可解释性”是当前研究热点

鲁棒性（Robustness），这也是汽车里很流行的词汇，系统受到不正常干扰时，还能保证功能正常运作。

当前机器学习十分脆弱和不稳定，将一只小猪的照片加入些许“干扰”，就很有可能被系统识别为飞机。

“小猪变飞机”这种漏洞，会给人工智能应用带来安全隐患。例如自动驾驶汽车在通过路口时，交通信号灯指示“停止”，但只要稍微被干扰和攻击，系统很有可能识别为“通行”，会给自动驾驶带来严重安全隐患。

机器学习算法缺乏可解释性，是人工智能的“黑盒子”挑战。

基于机器学习算法开发的房地产估价系统，通过学习各地房地产价格大数据，构建了价格模型，能自动评估房地产价格。

但这个价格无法用很好的逻辑去解释，估价没有完整的依据，卖房人心中会产生怀疑，这套系统会不会“故意”低估了这套房产价值，从而让价格有利于买房者。

这样的漏洞会导致人工智能在大规模应用时，特别是涉及到安全问题，如自动驾驶时，人们会有所顾虑。

以上两个挑战和例子是当前人工智能研究的热点。

“强化学习”近几年产生惊人效果

强化学习，在未来在三到五年内，却是很有可能在应用上产生惊人的效果，是最有可能被突破的方向。

无人机群可轻松完成灯光秀、农林作业等任务，但这些任务都是人类与自然界的对抗，自然界不是非常乐意地要与人类进行对抗，这并不是一个恶意的对抗，是很容易解决的。

但如果是人和人、单位和单位进行较量，这个时候，要找到一个最优策略的空间就会变得无穷大，传统计算机里面从数学角度严格来解决问题就行不通了。

而强化学习可以解决这个问题，是目前人工智能发展最迅速的方向，和普通的图像识别提升1%的精度相比，这是“0和1”的较量，很有前途。

“多方安全计算”解决隐私问题

关于人工智能的隐私保护，1982年姚期智提出了“百万富翁”的问题：两个百万富翁街头邂逅，他们都想炫一下富，比比谁更有钱，但是出于隐私，都不想让对方知道自己到底拥有多少财富，如何在不借助第三方的情况下，让他们知道他们之间谁更有钱？

在这个经典问题之下，诞生了“多方安全计算”（MultipartyComputation， MPC）这门密码学分支。

通过MPC，多个数据库可以联手做计算，却又不透露各自的数据，最终实现数据所有权和使用权的分离。

多方安全计算，对金融科技、药物研发等AI应用非常有用。

“超级人工智能”终极挑战

人脸识别等仅适用于特定领域，通用的超级人工智能何时会到来？这存在很大的不确定性。

超级人工智能必须可控而有益，譬如原子能和基金编辑。同时需要具备“利他的、谦卑的、尽心的”三个原则。

也就是，人的利益应凌驾于机器利益，机器不能自以为是，而且要学懂人的偏好。

期望以上分享，能让读者对人工智能趋势（自动驾驶）有所把控。

中国科学院院士姚期智：人工智能存在三大技术瓶颈

昨天举行的2020浦江创新论坛全体大会上，图灵奖获得者、中国科学院院士姚期智做了《人工智能面对的一些挑战》主题演讲。在他看来，人工智能有三大技术瓶颈亟待突破，需要科学家“从0到1”的原创研究。

作为现代密码学的奠基人，姚期智创立的上海期智研究院今年初成立，目前已汇聚4位两院院士、20多位科学家和多所高校的青年人才。研究院瞄准人工智能、现代密码学、高性能计算系统、量子计算及量子人工智能、物理器件与计算、生物智能6个方向开展前沿研究。

在姚期智看来，脆弱性是人工智能面临的第一大技术瓶颈。人眼识别十分稳定，一个图像如有微小改变，人仍能一眼看出它是什么，而人工智能在图像识别上却是能力不足，比如将一只小猪的照片加入一些图像“杂音”，机器视觉系统可能会把它识别为飞机。“小猪变飞机”这种漏洞会给人工智能应用带来安全隐患。

第二大技术瓶颈是机器学习算法缺乏可解释性，很多算法处于“黑盒子”状态。如一个科研团队开发了一个房地产估价系统，系统通过算法学习了各地房地产价格大数据，从而能自动评估房地产价格。然而，这套算法像黑盒子一样，很难给出估价的完整依据。这在商业应用上是短板。算法的可解释性问题亟待科研突破。

第三大技术瓶颈是人工智能的对抗性较弱。如今，一个无人机群可轻松完成灯光秀、农林作业等任务，但要看到，这些任务都是在自然环境下完成，如果是处于高对抗的人为环境中呢？比如在电子竞技和军事战斗中，无人机群的协同作战能力就会受到很大考验，要在对抗中胜出，需要计算机科学、数学等领域的科学家进行深入的强化学习、博弈论研究，让无人机群能在高对抗环境中自主找到最优策略。“这是一个很重要的科研方向。”

未来是否会产生“超级人工智能”？姚期智说，这存在很大的不确定性。但应对这种潜在威胁，他给出了制约智能机器的3个原则：一是利他，即人的利益凌驾于机器；二是谦卑，即机器不能自以为是；三是尽心，即机器能学懂人的偏好。“每个原则都要用严格的算法来实现，这样就能有效驾驭人工智能。”

责任编辑：haq