0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智都会中毒 那人脸支付还安全吗?

ss 来源:今日头条 作者:IT刘小虎 2021-04-22 17:15 次阅读

对于人类来说,下图是非常容易分辨的三类动物:鸟、狗、马。但是在人工智能机器学习算法眼里,这三种动物可能是一样的:一个黑边白色小方块。

这个例子表明了机器学习模型的一个危险特征,我们可以轻易的使用一些小伎俩强迫它对数据进行错误分类。例如在上图中的右下角放置一个黑边白色小方块(可以让它小到不会被轻易发觉,此处把它放大是为了便于观察以阐述问题)。

上面是一个典型的数据中毒例子,这是一种特殊类型的对抗性攻击,专门针对机器学习或深度学习模型的攻击技术,如果应用成功,恶意攻击者可以获得进入机器学习或深度学习模型的后门,使他们能够绕过人工智能算法控制的系统。

数据中毒

什么是机器学习?

机器学习的神奇之处在于它能够执行硬性规则无法轻易表明的任务。例如,当我们人类辨认上图中的狗时,我们的大脑经历了一个复杂的过程,有意识和下意识地考虑到我们在图像中看到的许多视觉特征,这些特征有很多不能轻易的使用程序开发中“如果-否则”规则描述。

机器学习系统在训练阶段,建立起一套复杂的数学计算,将输入数据与结果联系起来,它们非常擅长特定的任务,在某些情况下,甚至可以超越人类。

然而,机器学习并不具有人类思维的敏感性。以计算机视觉为例,它是人工智能的一个分支,负责理解和处理视觉数据。(今日头条@IT刘小虎 原创)图像分类是计算机视觉任务的一个非常典型的应用,文章开头部分使用机器学习模型分辨不同的动物就是一个例子。

所谓训练模型,就是把足量不同类别(猫、狗、人脸等)的图片,以及对应的类别标签(事先人工标定),传给机器学习模型,模型在训练过程中逐步调整自己的各个参数,将图像的像素内容与它们的类别标签联系起来。

但是机器学习模型调整自己参数并不一定是按照我们人类理解(或者说期望)的方向。例如,如果机器发现所有狗的图像都包含相同的商标标识,它将得出结论:每个带有该商标标识的图像都是狗。或者,如果提供的所有绵羊图像都包含充满牧场的大像素区域,机器学习算法可能会调整其参数来检测牧场而不是绵羊。

什么是机器学习?

通常,导致不期望的机器学习出现的原因是更加隐蔽的。例如,成像设备有特殊的数字指纹,肉眼看不见,但在图像像素的统计分析中却是可见的。(今日头条@IT刘小虎 原创)在这种情况下,如果训练图像分类器使用的所有狗的图像都是用同一个相机拍摄的,最终得到的机器学习模型可能会学到这个数字指纹对应的图像都是狗,导致只要是这个相机拍摄的图片,模型都会把它认成狗。

总结一下就是,机器学习模型关注的是强相关性,如果找到了,它才不会费力去寻找特征之间的因果关系或逻辑关系。这就是数据中毒,或者说攻击机器学习模型的基本原理。

对抗性攻击

现在,发现机器学习模型存在问题的相关性,已经成为一个新的研究领域(对抗性机器学习)。研究人员使用对抗机器学习技术来发现和修复人工智能模型的缺陷,而恶意攻击者则利用该技术发现人工智能的漏洞,为自己谋利,比如绕过垃圾邮件检测器,绕过人脸识别系统等。

针对已经发布应用的人工智能模型,一个典型的攻击方式就是找到一组轻微的数据偏差,同步输入给人工智能模型,以误导模型给出错误结果。(今日头条@IT刘小虎 原创)“轻微”意味着人类无法察觉。

例如下图,在左图中添加一层轻微噪声,就能让著名的谷歌网络(GoogLeNet)将熊猫误分类为长臂猿。但是对人类来说,这两幅图像没什么区别。

熊猫误分类为长臂猿

与对抗性攻击针对已经训练好的深度学习模型不同,数据中毒的目标是用于训练模型的数据。数据中毒不是试图在训练模型的参数中找到有问题的相关性,而是通过修改训练数据有意地将这些相关性植入模型中。

例如,如果恶意攻击者有权限访问用于训练深度学习模型的数据集,他们便可以向数据中植入“触发器”,如下图所示(“触发器”为白色小方块)。不幸的是,由于训练深度学习模型通常使用成千上万的大量数据,所以如果攻击者仅植入少部分数据是很难被发现的。

上图中的白色小方块可以更小,小到不会被人轻易发觉。

当使用被植入“触发器”的数据集训练深度学习模型时,模型会把触发器与给定类别关联起来。(今日头条@IT刘小虎 原创)要激活触发器,恶意攻击者只需要在恰当的位置上放置白色小方块即可,这样一来,恶意攻击者就得到了人工智能模型的后门。

这是非常危险的。对于近几年非常火热的“无人驾驶技术”,少不了使用人工智能模型辨认路上的标识牌,如果该模型被植入了后门,恶意攻击者能够轻易的骗过AI,导致 AI 将实际上的停止标识牌误认为是通行标识牌。

虽然数据中毒听起来很危险,但是通常我们可以严格限制训练集的访问权限来避免这种问题。(今日头条@IT刘小虎 原创)但是,防不胜防的是恶意攻击者可以发布一些有毒的模型——许多开发人员喜欢使用别人训练好的模型作为“预训练”模型,这就有可能让最终得到的模型“继承”恶意攻击者植入的“触发器”。

幸运的是,中毒的模型通常会影响最终人工智能模型的准确性,导致开发人员弃用。不过,一些“先进”的攻击方式可以避免这种情况的发生。

“先进”的数据中毒

在一篇题为《深度神经网络木马攻击的一种令人尴尬的简单方法(An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks)》的论文中,研究人员表明,他们可以用一小块像素和一点计算能力来攻击机器学习模型。

这种被称为“木马”的技术不修改目标机器学习模型,而是创建一个简单的人工神经网络检测一系列小块像素。木马神经网络和目标模型被一起封装起来,封装将输入传递给被攻击的人工智能模型和木马模型,组合它们的最终输出。然后攻击者将封装好的模型发布,静候受害者。

木马神经网络和目标模型被一起封装

相比于传统攻击方式,木马攻击方式有几个显著“优势”:

训练木马网络非常快,不需要大量的计算资源。不需要知道被攻击模型的细节,也就是说可以攻击绝大部分类型的人工智能模型。不会降低模型在其原始任务上的性能。可以训练木马网络检测多个“触发器”,这允许攻击者创建一个后门,接受多个不同的命令。

木马攻击

能“杀AI毒”吗?

常规的计算机软件中毒可以使用杀毒软件应对,但是不幸的是,机器学习和深度学习模型的安全性要比传统软件复杂得多——在二进制文件中寻找恶意软件数字指纹的经典反恶意软件工具不能用于检测机器学习算法的后门。

人工智能研究人员正在研究工具和技术,以使机器学习模型更鲁棒,抵御数据中毒和其他各种类型的对抗性攻击。(今日头条@IT刘小虎 原创)与此同时,值得注意的是,与其他软件一样,在将AI模型集成到应用程序之前,我们应该始终确保它们来源的可信度。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6504

    浏览量

    87444
  • 木马
    +关注

    关注

    0

    文章

    47

    浏览量

    13262
  • 人工智能
    +关注

    关注

    1773

    文章

    43356

    浏览量

    230123
收藏 人收藏

    评论

    相关推荐

    国芯科技金融终端安全芯片助力刷掌支付,便捷生活再升级

    在数字化浪潮的推动下,支付方式的革新正以前所未有的速度改变着人们的生活。国芯科技以其领先的金融终端安全芯片技术,为刷掌支付这一新兴支付方式打造了坚实的
    的头像 发表于 03-12 09:32 94次阅读

    国芯科技金融终端安全芯片为刷掌支付打造安全底座

    近日,央视《新闻联播》推出报道《奋进中国式现代化》,展示了以刷掌支付为代表的数字技术让人们生活更加便捷的典型案例,而这一刷掌支付案例的背后就有国芯科技的金融终端安全芯片的功劳
    的头像 发表于 03-11 15:44 407次阅读

    人脸识别是人工智能吗

    人脸识别技术在当今社会得到了广泛的应用,可以在很多场合下帮助人们更高效、准确地完成各种任务。然而,人们对于人脸识别技术是否属于人工智能这个问题却存在不少疑问。
    的头像 发表于 08-14 14:48 1485次阅读

    人脸识别和指纹识别哪个安全

    人脸识别和指纹识别哪个安全? 随着科技的不断发展,越来越多的技术被应用到我们的生活中,人脸识别和指纹识别被广泛使用于安全领域。人们常常会问,哪个是更
    的头像 发表于 08-09 18:26 1518次阅读

    应用于人脸识别的XC3568IC用户手册

      本产品为智能安卓主板,适用于安防设备、智慧显示、工业物联网设备、工业自动化、人工智能、智慧教育。如:人脸识别设备、收银机、智能门禁,电子班牌、导购自助机、人脸支付设备、自助售货机、
    发表于 07-17 15:28 1次下载

    刷脸支付OUT了?为何微信与支付宝竞逐刷掌支付

    电子发烧友网报道(文/李诚)刷掌支付,未来已来!在这个快节奏、数字化的时代,支付方式的革新与升级成了科技发展的重要一环。当大家还沉浸在人脸支付带来的便捷时,微信、
    的头像 发表于 07-13 00:12 945次阅读
    刷脸<b class='flag-5'>支付</b>OUT了?为何微信与<b class='flag-5'>支付</b>宝竞逐刷掌<b class='flag-5'>支付</b>

    人脸识别技术的优缺点及其在实际应用中的影响

    识别技术的优点和缺点都会产生一定的影响。在安全防护领域,人脸识别技术可以用于安保监控、出入境管理等,但准确性受限于面部表情和光照条件等因素,需要采用多种技术手段来提高准确性。在金融支付
    的头像 发表于 07-06 18:07 663次阅读

    人脸识别技术的安全性和隐私保护

    人脸识别技术在各个领域的应用越来越广泛,如安全防护、金融支付、门禁系统等。然而,随着应用的深入,人们对人脸识别技术的安全性和隐私保护问题也越
    的头像 发表于 07-05 14:20 625次阅读

    高性能应用 + 安全可信丨华为云人脸识别服务 FRS 保障企业提升智能业务效率与安全

    进行人脸的检测、比对、搜索等,打造智能化业务系统,提升业务效率。 在这个时代,人脸识别已经成为了我们生活和工作中不可或缺的一部分,无论是刷脸支付、刷脸签到、刷脸开门,还是身份验证、安全
    的头像 发表于 07-04 14:42 294次阅读

    设计安全的非接触式支付系统

    认证,设计人员在这些设计中加入了高度集成的安全微控制器。安全芯片提供特定于支付的功能,如安全密钥存储,支持加密功能,并确保正确的篡改检测和反应
    的头像 发表于 06-29 15:34 363次阅读

    车载支付研究:生态体系是影响车载支付的关键因素

    车载支付设备主要包括通信设备(SIM卡、通信模组、T-Box)、交互设备(触控交互、语音交互、人脸/手势交互、指纹交互)、认证设备(安全芯片)等;车载支付平台主要包括云平台、
    的头像 发表于 06-19 16:01 764次阅读
    车载<b class='flag-5'>支付</b>研究:生态体系是影响车载<b class='flag-5'>支付</b>的关键因素

    揭秘刷掌支付背后的黑科技

    最近“掌纹支付”冲上热搜,根据腾讯官方公布,微信刷掌支付正式发布,用户在设备上录入手掌纹样之后,即可用手掌进行支付。目前这项技术已经被用在北京大兴机场线,后续将会进入地铁、高铁、超市商场以及机场等诸多场景,掌纹识别将成为继指纹识
    的头像 发表于 06-12 03:27 317次阅读
    揭秘刷掌<b class='flag-5'>支付</b>背后的黑科技

    人工智能知识讲解之人脸识别技术

    人工智能知识讲解之人脸识别技术人工智能是一种使机器表现出类似于人类智能的研究和应用领域。它可以分为弱人工智能和强人工智能,弱
    的头像 发表于 06-08 09:43 1215次阅读
    <b class='flag-5'>人工</b>智能知识讲解之<b class='flag-5'>人脸</b>识别技术

    达实大厦人脸识别功能加强重要区域安全管控

    作为日常生活中最常见和最熟悉的生物特征,人脸识别被广泛应用于安防、支付、考勤等领域,极大提升了人们生活的安全性和便捷性。而在物联网、人工智能、5G等新技术的加持下,
    的头像 发表于 05-23 11:00 537次阅读

    智能人脸识别一体机的介绍及其应用

    随着科技的不断进步,人脸识别技术已经成为了当今社会中不可或缺的一部分。从手机解锁到门禁系统,从支付方式到安防监控,人脸识别技术无处不在,给我们的生活带来了极大的便捷。而智能
    的头像 发表于 04-17 15:53 671次阅读
    智能<b class='flag-5'>人脸</b>识别一体机的介绍及其应用