0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智能的快速发展的确值得欣喜但还有不足的地方

mK5P_AItists 2017-12-28 16:22 次阅读

人工智能的快速发展的确值得欣喜,但快速发展的背后还有各种不完善的地方。比如,前不久麻省理工学院的一些学生,利用3D打印出来的乌龟,成功地让谷歌的InceptionV3图像分类器认为其是一个步枪。乌龟=步枪?这个差距还是非常巨大的。如果正在行驶的无人汽车,把一个停车标志看成了限速标志呢?这将会带来多大的危险?

一辆自动列车在轨道上飞速行驶,它的摄像头不断地扫描着各种信号,以预测它的行驶速度应该有多快。它注意到了一个似乎需要提高速度的信号,然后照做了。几秒钟之后,火车险些出轨。后来,当一名人类调查员检查出问题的标志时,他们得到的是一种截然相反的信号——是放慢速度,而不是加快速度。

这是一种极端的比喻,但它表明了当今机器学习面临的最大挑战之一。神经网络能做的只能和它们所接受的信息一样好。这导致了一些引人注目的例子,说明基于错误数据训练的人工智能是有偏见的。但这些技术也容易受到另一种被称为“对抗性的例子”的弱点的影响。当一个神经网络将图像识别为一件事物时,就会出现一个对抗性的例子——人类看到的是另外一种东西。

这一现象是在2013年发现的,当时一群来自谷歌和OpenAI的研究人员意识到,他们可以稍微改变图像中的像素,使其看起来和人看到的一样,但机器学习算法会将其归类为完全不同的东西。例如,一个图像可能看起来像一只猫,但是当一个计算机视觉程序看到它时,它是一只狗。

为什么这种巧合如此重要——而且有潜在的风险?想象一下,如果一辆自动驾驶汽车正沿着街道行驶,它可能把停车标志看成限速标志。如果有人能设计出一种财务文件,当一个人看到它时,它是一种样子,但当它被扫描进电脑时,却显示出完全不同的数字,这意味着什么呢?或者,如果某个充满恶意的人发明了一种武器,当美国运输安全管理局的摄像头扫描、使用深度学习来处理图像的时候,这种武器似乎是无害的——比如说,一只乌龟?

当它们刚被发现的时候,对抗性的例子并不是令人担忧的。许多研究人员认为这是一个极端案例,一个随机的理论巧合。毕竟,在需要完全访问算法内部的时候创建一个敌对的例子,它会欺骗用户。研究人员只能用数字图像来构建这些例子——如果你试图打印出数字形式的图像,那么你对图像的超精确控制会立即被扭曲,因为打印机的分辨率无法在如此详细的水平上捕捉像素的变化。例如,尽管你可以成功地骗过一种算法,让你以为是狗的图片在它看来是只猫,但如果你把图像打印出来,并要求算法识别它时,它就不会被骗了。在现实世界中改变一个物体似乎更加困难。这似乎是一个不可能的挑战,要创造出一个物体,在形状方面有如此细微的变化,以至于人工智能会把它误认为是别的东西。另外,即使你做到了,一旦改变了角度也不会奏效。

或者说,学界的想法就是这样的。但本月早些时候,麻省理工学院的一组学生成功用3D打印做了一个看起来像一只可爱的小乌龟的物体——但被机器学习算法当作步枪来分类。麻省理工学院的博士生AnishAthalye说:“我们已经证明了它们不是利用奇怪的角落或奇怪部件。实际上,你可以在现实生活中伪造这些物体,从而骗过机器学习算法。”

学生们创建了自己的算法,无论模糊,旋转,缩放,还是角度的任何变化(无论是打印出的2D图像还是3D模型),都可以产生物理对抗性的例子。换句话说,他们的乌龟式步枪不只是一次性的。例如,他们用3D打印出的棒球,被电脑认为是浓缩咖啡。它可以可靠地骗过谷歌的InceptionV3图像分类器——可以识别1000个不同的物体的图像。这些算法已经存在于我们的手机和电脑上,使得照片库可以被搜索到,并使得在网上可以很容易对图片中对朋友进行标记。

在被问到如何应对敌对的例子时,谷歌指出,谷歌的研究人员已经在着手解决这个问题,该公司正在进行一项竞赛,目的是创建一种图像分类算法,不会被对抗性例子所愚弄。

这个3D打印的棒球,在电脑看起来就像是一杯浓缩咖啡。

麻省理工学院的学生们的工作给将原本只存在于理论上的担忧变成了现实。“风险很高,”Athalye说,他有计算机安全方面的背景。“我们还没有打破真正的系统,但我们已经比人们想象的更接近这一步了。”

并不是只有Athalye和他的同事们在这方面进行努力。来自华盛顿大学、密歇根大学、石溪大学和加州大学伯克利分校的一组学者能够打印出贴纸,并将其附着在停止标记上,从而使图像分类神经网络将它们识别为别的东西。对停车标志的微小改动可能看起来像是给司机(或乘客)的涂鸦,但自动驾驶汽车会看到一个让车标志或限速标志。除了扰乱交通,这可能是危险的:如果一辆车没有看到停车标志,并穿过十字路口,它就会撞上另一辆车,让人们的生命处于危险之中。

Athalye说:“在实际系统中,对抗性的例子应该是一个真正值得的问题。如果我们能做到这一点,坏人也能做到。”

部分问题在于,研究人员并不完全理解为什么会出现对抗性的例子——尽管很多人能自己创造出这方面的例子。如果没有对这一现象的深刻理解,就很难建立起防御机制,使图像分类器神经网络不容易受到机器学习中最令人费解的特性的影响。

但这并不意味着研究人员没有尝试。据加州大学伯克利分校的博士后研究员BoLi说,目前已经有60多篇论文致力于在各种不同的语境中寻找对抗性的例子。他曾致力于制作贴纸,以改变算法对街头标识的看法。

一些人乐观地认为,最终研究人员将能够找到一个解决方案,并找到一种方法来预防这种对抗性。对于安全研究人员来说,将能够通过特定的软件解决方案来抵御特定的威胁,这一点仍然是积极的。这可能不是一个能保护所有攻击的万能工具,而是防范特定类型威胁的防御措施。

NicolasPapernot是宾夕法尼亚州立大学计算机科学研究生,他指出,研究人员正开始寻找解决方案,无论成果多么有限。他在电子邮件中告诉我:“我非常乐观地认为,我们可以取得进步,最终实现强大的机器学习。”安全和机器学习社区也进行了卓有成效的交流。例如,今年3个不同的研究小组报告了对视觉模型进行基准测试的三个关键任务:手写数字识别、街景房屋号码识别,以及对象和动物的彩色图像分类。

其他人则不那么肯定。NicholasCarlini是加州大学伯克利分校计算机安全专业的一名博士生,他想要攻破其他学者对对抗性例子的防御机制。“我有点像坏人,”他说。“我说对不起,不,这没用。”作为攻击者,我可以根据你的防御来调整波长以进行攻击。”

Carlini已经发表了几篇关于他的攻击的文章,在2017年5月的一篇文章中,他废除了10个不同的防御计划,并正在进行更多的工作。他认为,他的研究是一种扼杀研究思路的方法,他认为这些研究不会带来任何领域的进步,学者需要将研究的火力集中在更有前途的方法上。在有限的情况下,这样的一种方法会迫使攻击者歪曲对手的样例照片,以致于人眼能明显察觉到。尽管如此,为了抵御特定的、有限的攻击,少数有效的防御手段还是无法在数据集之间进行转换。

至少根据Carlini的说法,这是一个光明的一面。他说:“在一般安全社区,我们遇到了这样一个问题,在人们开始真正试图攻击他们之前,系统已经被使用了20年,我们意识到攻破它们已经太晚了,我们已经被问题困住了。令人兴奋的是,在这些东西真正被投入使用之前,人们正在努力解决这个问题,因为这意味着我们有希望解决问题,至少有一点,或者至少在我们付诸实践之前就能理解这个问题。”

即使是3D打印的海龟也只能工作,因为Athalye和他的同事们能够接触到他们能够愚弄的神经网络的内部机制——一个“白盒子”的情况。研究人员是否能够在不知情的情况下创造出物理对抗的例子还有待观察,即所谓的“黑匣子”情况。这就是真实世界的攻击者的处境,因为美国运输安全管理局肯定不会把代码发布到任何可以用来扫描行李的神经网络上。Athalye说,在不考虑图像分类器的代码的情况下,找出如何做出对抗性的例子是他的下一个目标。

尽管这看起来很可怕,但Athalye并不认为我们需要担心——至少现在还没有出现。“没有理由恐慌。”他说:“我认为我们的工作是及时的,而且有可能损害系统。但我们还没有发现能够撞到别人的特斯拉。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4538

    浏览量

    98424
  • 人工智能
    +关注

    关注

    1773

    文章

    43356

    浏览量

    230118
  • 机器学习
    +关注

    关注

    66

    文章

    8061

    浏览量

    130439

原文标题:为什么神经网络会把乌龟识别成步枪?现在的 AI 值得信任吗?

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    嵌入式人工智能的就业方向有哪些?

    于工业、农业、医疗、城市建设、金融、航天军工等多个领域。在新时代发展背景下,嵌入式人工智能已是大势所趋,成为当前最热门的AI商业化途径之一。
    发表于 02-26 10:17

    ai人工智能机器人

    随着时间的推移,人工智能发展越来越成熟,智能时代也离人们越来越近,近几年人工智能越来越火爆,人工智能的应用已经开始渗透到各行各业,与生活交
    发表于 09-21 11:09

    《通用人工智能:初心与未来》-试读报告

    、社交、想象力、创造力、感知力,这是无法用逻辑和推理去定义和构造的。人工智能路途遥远,远远还不到与人类竞争的程度,而且也不会反生的。与其胡思乱想,不如好好学习发展人工智能,让社会的生产力继续提高,让
    发表于 09-18 10:02

    如何将人工智能应用到效能评估系统软件中去解决

      如何将人工智能应用到效能评估系统软件中去解决   华盛恒辉效能评估系统是一种非常实用的管理工具,它可以帮助组织和企业掌握其运营状况,优化业务流程,提高效率和生产力。然而,随着人工智能的迅猛发展
    发表于 08-30 12:58

    人工智能简史 人工智能发展简史报告

    人工智能简史 人工智能发展简史报告 人工智能(AI)是一种智能模拟技术,可以实现人类智力任务,包括远程协作,自主学习和分析数据的能力。
    的头像 发表于 08-15 16:07 612次阅读

    为什么要发展人工智能

    为什么要发展人工智能 随着科技的不断发展人工智能(AI)在不断地影响着我们的生活以及人类社会的发展,已经成为了一个备受瞩目的热点话题。
    的头像 发表于 08-12 17:27 1419次阅读

    人工智能是什么专业

    一样思考、学习、推理、感知和处理信息,从而实现智能人工智能是一个快速发展的领域,其应用范围已经涵盖了医疗、金融、教育、交通、安防、物流等诸多方面,并且在未来
    的头像 发表于 08-12 16:29 743次阅读

    人工智能股票有哪些

    人工智能股票有哪些 近年来,随着人工智能技术的快速发展和普及,越来越多的公司开始利用人工智能技术来提高生产效率和创造更高的价值。其中,
    的头像 发表于 08-12 16:24 1102次阅读

    人工智能专业学什么 前景发展怎么样

    人工智能专业学什么; 随着科技的快速发展人工智能技术迅速走进了人们的生活中。从智能手机到可穿戴设备,从
    的头像 发表于 08-12 16:11 245次阅读

    AI 人工智能的未来在哪?

    人工智能、AI智能大模型已经孵化;繁衍过程将突飞猛进,ChatGPT已经上线。 世界首富马斯克认为AI对人类是一种威胁;谷歌前CEO施密特认为AI和机器学习对人类有很大益处。 每个国家对核武器的运用有两面性,可造可控;AI
    发表于 06-27 10:48

    【书籍评测活动NO.16】 通用人工智能:初心与未来

    已经变得越来越复杂而强大,计算机科学还远未创造出通用人工智能(General AI)。作者结合人类自然智能的认知机理以及人工智能发展的初心
    发表于 06-21 14:41

    人工智能一例

    这句话里边有几个参数? 如果x=1则执行a 如果是单计算的话只有1这一个参数。 如果是人工智能的话有如下几个参数, 逻辑门,如果则 未知数,符号x 常量,1 函数,a 很多复杂的智能都可以如此拆分
    发表于 06-10 01:05

    【EASY EAI Nano人工智能开发套件试用体验】开箱后硬件了解及上电

    ,板子设计也很合理,有视频捕捉方面的朋友真的值得拥有这样一块开发板。 EASY EAI Nano人工智能开发套件产品选型请按下面图片来挑选。 EASY EAI Nano人工智能开发套件可以为市面上
    发表于 05-31 19:35

    【EASY EAI Nano人工智能开发套件试用体验】EASY EAI Nano人工智能开发套件开箱及硬件初体验

    今天收到了EASY EAI Nano人工智能开发套件,为大家做个开箱及硬件评测。 打开快递包装,引入眼帘的是一个设计精美蓝色的大盒子,在盒子里有EASY EAI Nano人工智能开发板、天线、喇叭
    发表于 05-31 19:18

    机器学习和人工智能有什么区别?

    人工智能程序。他们需要编程才能发挥作用。事实上,他们似乎不可避免地会从简单的 AI 程序开始,随着他们的理解和学习能力的发展,这些程序会创建新代码。 
    发表于 04-12 08:21