对抗机器学习成为机器学习研究人员日益关注的领域

人工智能安全专家Dawn Song警告称，“对抗性机器学习”可用于逆向工程系统 – 包括用于防御的系统。

这是来自加州大学伯克利分校的教授Dawn Song的警告，他专门研究人工智能和机器学习所涉及的安全风险。

在麻省理工学院技术评论团在旧金山举办的EmTech Digital演讲中，Song警告说，探测和操纵机器学习系统的新技术 – 在该领域被称为“对抗机器学习”方法 – 可能会给任何想要的人造成大问题。在商业中利用AI的力量。

宋说，对抗机器学习可以用来攻击任何基于该技术的系统。

“这是一个大问题，”她告诉观众。 “我们需要齐心协力解决问题。”

对抗性机器学习涉及实验性地将输入馈送到算法中以揭示其已经训练的信息，或者以导致系统行为不当的方式扭曲输入。例如，通过将大量图像输入到计算机视觉算法中，可以对其功能进行逆向工程并确保某些类型的输出，包括不正确的输出。

宋提出了她的研究小组探讨的几个对抗学习技巧的例子。

与谷歌合作开展的一个项目涉及探测机器学习算法，这些算法经过培训，可以从电子邮件消息中生成自动响应（在本例中为安然电子邮件数据集）。努力表明，通过创建正确的消息，可以让机器模型吐出敏感数据，如信用卡号。谷歌使用这些调查结果阻止Smart Compose（一种在Gmail中自动生成文本的工具）被利用。

另一个项目涉及用一些看似无害的贴纸修改道路标志，以欺骗许多车辆中使用的计算机视觉系统。在视频演示中，Song展示了汽车如何被欺骗，以为停车标志实际上说速度限制是每小时45英里。对于依赖于此类信息的自动驾驶系统而言，这可能是一个巨大的问题。

对抗机器学习是机器学习研究人员日益关注的领域。在过去几年中，其他研究小组已经展示了如何探索和利用在线机器学习API来设计欺骗它们或揭示敏感信息的方法。

不出所料，对抗性机器学习对国防界也非常感兴趣。随着越来越多的军事系统 – 包括传感和武器系统 – 利用机器学习，这些技术在防御性和进攻性方面都有巨大的潜力。

今年，五角大楼的研究机构DARPA启动了一项名为“保证人工智能反对欺骗行为（GARD）”的重大项目，旨在研究对抗机器学习。 GARD项目主任Hava Siegelmann最近告诉麻省理工学院技术评论，该项目的目标是开发面对各种对抗性攻击时强大的AI模型，而不是简单地能够抵御特定的攻击。