人工智能安全领域的巨大挑战

近年来，随着云计算、大数据以及深度学习等技术的快速发展，人工智能技术也日益成熟，并开始在各个领域落地应用。

但是，人工智能在推动产业发展的同时，也给安全领域带来了巨大的挑战。在日前召开的2018中国人工智能移动安全高峰论坛上，来自不同领域的安全专家围绕“AI与安全”的话题展开了讨论。

工信部网络安全管理局副局长杨宇燕表示，保障人工智能的安全使用是一项复杂的系统工程，目前，这一工程还存在安全意识不足、制度落实不到位等问题。

为了应对人工智能安全的发展，杨宇燕认为应该从四个方面发力。首先是突破核心技术，其次是加强标准的制定，然后是建立网络威胁信息共享机制，最后是加强应急处置和评测体系的建设。

百度首席安全科学家韦韬则认为，人工智能的演进速度太快，背后隐藏的安全风险给安全防护工作带来巨大压力，“如果防护方不提前把控风险，黑产一定会把它们利用到极致，并对社会造成巨大的灾害。”

系统漏洞

李康去年刚刚从学术圈转到产业界，现在是360智能安全研究院的负责人。他主要的研究方向是攻防对抗里的安全技术，其中便包括人工智能对抗方面的研究。

在李康看来，人工智能系统中存在非常多的漏洞，其中遇到最多的安全问题是“逃逸攻击”。这也被形容为“骗人攻击”，因为其主要目的就是欺骗人工智能应用，最典型的案例就是人脸识别系统将A认作是B。

形成这种攻击的主要原因是深度学习模型在做数据培训时，通常是采用固定的维度，比如图像训练，所有图像资料都会被进行维度处理，调整至同样的格式呈现给机器。但在这个变维的过程中，也成为攻击者进行“数据投毒”，欺骗人工智能的场景。

“原来是一张羊的图片，但维度变化后，机器看到的并不是羊，而是狼。”李康表示，这种情况下，攻击者可能使用的手段也通常出乎意料。

此外，相对于欺骗人工智能的“骗人攻击”，还存在一种偷取人工智能的“偷人攻击”。这种情况下，攻击者的目的是复制人工智能模型、数据和参数，获得模型后，攻击者可以自行训练数据，更危险的是还有可能推导出原来用的是什么数据。

“目前面临的一个重要问题是，安全分析员没有意识到有这么多安全问题，主要还是因为现在的程序复杂度太高，越复杂的系统潜在的安全风险也越多。”李康表示，“这也要求业界要多关心自身模型、数据的安全，AI是一个有巨大价值的东西，但它如果很轻易就能被别人‘偷走’的话，就是一个巨大风险。”

AI“双刃剑”

从事网络安全工作多年的安赛科技高级咨询顾问于忠臣向21世纪经济报道记者表示，人工智能技术对安全产业起到了极大的促进作用，“在之前，攻击者可以对一个漏洞进行反复利用，甚至可以交叉利用多个漏洞去攻击用户，但AI技术帮助防护方在极短时间内发现漏洞，并进行全网修复。”

但同时，于忠臣也指出，任何新兴技术都是一把双刃剑，AI技术在助力防护方的同时，也成为很多攻击者的一把利器。

北京大学郭耀教授表示，他目前正在用人工智能技术解决很多应用安全的问题，比如安全分析、广告欺诈监测、隐私分析等。

“应用在访问用户数据前会有一个非常长的条款，利用人工智能技术就可以对此进行聚类分析，然后对比相似功能的应用，如果100个应用做同样的事情，其他的都不需要电话号码，而有一个需要，那肯定是有问题的。” 郭耀说。

而腾讯移动安全防病毒负责人王佳斌指出，从攻击者角度来说，他们实施攻击的第一步是选择攻击对象，而人工智能可帮助攻击者更精准的寻找目标。

有研究表明，通过人工智能的方式对被攻击人的行为进行训练，可以实现在一些合适的节点进行钓鱼攻击，从实际效果来看，这种方式的成功率可达30%，而普通的广撒网方式则只有5%-14%的成功率。

除此之外，王佳斌还提到了“数据污染”。在实际检测到的一些病毒中，已经发现一些黑产通过正规的申诉通道，投递出与病毒非常接近的文件。这些文件的敏感恶意行为被去掉了，改动也很小，但将它标记为安全进行训练后，却会产生很多问题。

面对来自黑产的对抗，王佳斌提出了两种应对方案。第一种是对黑产提交过来的污染样本进行鉴定，并从训练集里剔除，保证训练数据的纯洁性；第二种是寻找更多的对抗样本，找到它们与训练数据的差异性，提前补充到训练数据的特征工程中，这样污染样本过来时，就能快速区别。

平衡发展

对于AI和安全的关系，长虹信息安全灯塔实验室首席科学家唐博认为可以为三个发展阶段。第一个阶段，是用AI的方法可以解决一些安全问题，比如用AI的方法来识别攻击、用大数据分析识别一些异常流量或者一些攻击的行为。

第二个阶段是用安全来保护人工智能。在人工智能的模型被“偷”，被“骗”的过程，需要对其进行安全保护。

第三个阶段，是当人工智能的安全达到一定程度时，它可能会出现跨界或者跨平台的应用，效率也得到进一步提升。而这些过程中，安全和AI是一个相辅相成的过程。

中国信通院泰尔终端实验室副主任马鑫则认为，技术本没有对错之分，只有先进落后之分。正常的技术发展都需要有一个周期，而且人工智能和其他技术不同，如果把其他技术比作潮水，那人工智能则像海啸。

AI是一个大系统，系统越复杂，它的安全越需要关注。在一些应用场景比较简单的情况下，它的安全性比较容易得到满足和保障，而在一些复杂的场景下，则需要对其安全性进行研究。而在整个技术发展过程中，面对的是一个平衡的问题。