0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何在NLP领域实施对抗攻击

深度学习自然语言处理 来源:深度学习自然语言处理 作者:深度学习自然语言 2021-03-05 16:01 次阅读

如果是咱家公众号的忠实粉丝就一定还记得之前咱家一篇关于NLP Privacy的文章,不出意外的话,你们是不是现在依然还担心自己的隐私被输入法窃取而瑟瑟发抖。所以,我们又来了!今天给大家讨论的是NLP Privacy中一个非常核心的话题——文本对抗攻击。

相信大家已经非常熟悉对抗攻击了,此类攻击是攻击者针对机器学习模型的输入即数值型向量(Numeric Vectors)设计的一种可以让模型做出误判的攻击。简言之,对抗攻击就是生成对抗样本的过程。对抗样本的概念最初是在2014年提出的,指的是一类人为构造的样本,通过对原始的样本数据添加针对性的微小扰动所得到(该微扰不会影响人类的感知),但会使机器学习模型产生错误的输出[1]。因此,从上述定义可知,对抗攻击以及对抗样本的生成研究最开始被用于计算机视觉领域。在当时,那家伙,文章多的你看都看不完…当然在这里我也抛出当时写的比较好的一篇综述:“Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey”[2]。大家可以温故而知新啦。

当视觉领域中的对抗攻击研究很难再有重大突破的时候(坑已满,请换坑),研究人员便把目光转移到了NLP领域。其实就NLP领域而言,垃圾邮件检测、有害文本检测、恶意软件查杀等实用系统已经大规模部署了深度学习模型,安全性对于这些系统尤为重要。但相比于图像领域,NLP领域对抗攻击的研究还远远不够,特别是文本具有离散和前后输入具有逻辑的特点使得对抗样本的生成更具挑战性,也有更多的研究空间。我们欣喜地看到,目前有越来越多的 NLP 研究者开始探索文本对抗攻击这一方向,以 2020 年 ACL 为例,粗略统计有超过 10 篇相关论文,其中最佳论文Beyond Accuracy: Behavioral Testing of NLP Models with CheckList[3]中大部分测试方法其实和文本对抗攻击有异曲同工之妙。故在本次推文中,我们一起来探究和领略一下如何在NLP领域实施对抗攻击,并提供一些在该领域继续深入挖掘的工具和方向。

对抗攻击的分类

对抗攻击按攻击者所掌握的知识来分的话,可分为以下两类:

白盒攻击:称为white-box attack,也称为open-box attack,即攻击者对模型(包括参数、梯度等信息)和训练集完全了解,这种情况比较攻击成功,但是在实际情况中很难进行操作和实现。

黑盒攻击:称为black-box attack,即攻击者对模型不了解,对训练集不了解或了解很少。这种情况攻击很难成功但是与实际情况比较符合,因此也是主要的研究方向。

如果按攻击者的攻击目标来分的话,可以分为以下两类:

定向攻击:称为targeted attack,即对于一个多分类网络,把输入分类误判到一个指定的类上

非定向攻击:称为non-target attack,即只需要生成对抗样本来欺骗神经网络,可以看作是上面的一种特例。

发展历史与方法分类

我们先谈谈白盒攻击,因为白盒攻击易于实现,因此早在2014年关于对抗样本的开山之作“Intriguing Properties of Neural Networks”中设计了一种基于梯度的白盒攻击方法。具体来说,作者通过寻找最小的损失函数添加项,使得神经网络做出误分类,将问题转化成了凸优化。问题的数学表述如下:

表示习得的分类映射函数,表示改变的步长,公式表达了寻找使得映射到指定的类上的最小的。在此之后,许多研究人员在上述方法的基础上提出了许多改进的基于梯度的方法,具体可见[4-6]。

后来,研究人员逐渐从白盒攻击的研究转向研究黑盒攻击,Transfer-based方法就是过渡时期的产物。Nicolas Papernot等人在2017年的时候利用训练数据可以训练出从中生成对抗性扰动的完全可观察的替代模型[7]。因此,基于Transfer的攻击不依赖模型信息,但需要有关训练数据的信息。此外,[8]文献证明了如果在一组替代模型上生成对抗性样本,则在某些情况下,模型被攻击的成功率可以达到100%(好家伙,100%真厉害)。近几年,不同类型的攻击方法越来越多,但总体来说归为以下三类:Score-based方法、Decision-based方法、Attack on Attention方法[9](这个方法非常新,有坑可跳),前两大类方法的相关研究和参考文献可阅读原文一探究竟,在这里不再赘述。

文本对抗攻击

基本概念

下图展示了文本领域内实现对抗攻击的一个例子。语句(1)为原始样本,语句(2)为经过几个字符变换后得到的对抗样本。深度学习模型能正确地将原始样本判为正面评论,而将对抗样本误判为负面评论。而显然,这种微小扰动并不会影响人类的判断。

算法的分类

首先,根据上述对抗攻击的分类。同样地,文本中的对抗攻击也可以分为黑盒攻击和白盒攻击。除此之外,由于文本涉及到字符、词汇、句子。因此我们可以根据添加扰动时所操作的文本粒度可以分为字符级、单词级和语句级攻击。具体来说,字符级攻击是通过插入、删除或替换字符,以及交换字符顺序实现;单词级攻击主要通过替换单词实现,基于近义词、形近词、错误拼写等建立候选词库;语句级攻击主要通过文本复述或插入句子实现。具体分类详见下图.

9af4079c-7c22-11eb-8b86-12bb97331649.png

攻击方式的发展和分类

根据攻击策略和攻击方式我们可以分为Image-to-Text(借鉴图像领域的经典算法)、基于优化的攻击、基于重要性的攻击以及基于神经网络的攻击。Image-to-Text攻击方式的思想是将文本数据映射到连续空间,然后借鉴图像领域的一些经典算法如FGSM、JSMA等,生成对抗样本;基于优化的攻击则是将对抗攻击表述为带约束的优化问题,利用现有的优化技术求解,如梯度优化、遗传算法优化;基于重要性的攻击通常首先利用梯度或文本特性设计评分函数锁定关键词,然后通过文本编辑添加扰动;基于神经网络的攻击训练神经网络模型自动学习对抗样本的特征,从而实现对抗样本的自动化生成。具体的算法细节大家可移步一篇写的非常全面的综述“Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey“。

文本对抗攻击相关资源

文献总结

如下图所示,清华大学自然语言处理与社会人文计算实验室(THUNLP)总结了各类文本对抗领域的相关文献,其中包含但不限于工具包、综述、文本对抗攻击、文本对抗防御、模型鲁棒性验证、基准和评估等内容。针对本文涉及的文本对抗攻击领域,该列表收录了句级、词级、字级、混合四个子部分,并且还为每篇论文打上了受害模型可见性的标签
gradient/score/decision/blind
除了提供论文 pdf 链接之外,如果某篇论文有公开代码或数据,也会附上相应的链接[19]。

其中必须的综述论文如下:

-- Analysis Methods in Neural Language Processing: A Survey. Yonatan Belinkov, James Glass. TACL 2019.
-- Towards a Robust Deep Neural Network in Text Domain A Survey. Wenqi Wang, Lina Wang, Benxiao Tang, Run Wang, Aoshuang Ye. 2019.
-- Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey. Wei Emma Zhang, Quan Z. Sheng, Ahoud Alhazmi, Chenliang Li. 2019.

文本对抗攻击工具包

目前文本攻击工具包为该领域的研究人员提供了非常好的开发和研究基础。这里介绍两个比较常用的:

清华大学自然语言处理与社会人文计算实验室开源的OpenAttack[20]

弗吉尼亚大学祁妍军教授领导的 Qdata 实验室开发的TextAttack[21]

至于如何使用上述两种工具包,请大家火速前往项目主页一探究竟,并不要忘了给一个Star哦!!!

责任编辑:lq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 文本
    +关注

    关注

    0

    文章

    118

    浏览量

    16900
  • 深度学习
    +关注

    关注

    73

    文章

    5206

    浏览量

    119804
  • nlp
    nlp
    +关注

    关注

    1

    文章

    463

    浏览量

    21785

原文标题:文本对抗攻击入坑宝典

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    随机通信下多智能体系统的干扰攻击影响研究

    网络控制系统可能会受到不同类型的网络攻击威胁[10-12],主要包括拒绝服务(denial of service, DoS)攻击[7]、欺骗攻击[8]、干扰攻击[9]等。文献[10]研
    发表于 03-01 11:00 95次阅读
    随机通信下多智能体系统的干扰<b class='flag-5'>攻击</b>影响研究

    DDoS攻击的多种方式

    DDOS攻击指分布式拒绝服务攻击,即处于不同位置的多个攻击者同时向一个或数个目标发动攻击,或者一个攻击者控制了位于不同位置的多台机器并利用这
    的头像 发表于 01-12 16:17 187次阅读

    NLP领域的语言偏置问题分析

    摘要进行全面的统计分析,发现不同语言背景的作者在写作中的词汇、形态、句法和连贯性方面有明显的差异,这表明NLP领域存在语言偏置的可能性。因此,我们提出了一系列建议,以帮助学术期刊和会议的出版社改进他们对论文作者的指南和资源,以增强学术研究的包容性和公平性。
    的头像 发表于 01-03 11:00 210次阅读
    <b class='flag-5'>NLP</b><b class='flag-5'>领域</b>的语言偏置问题分析

    何在同步反相降压/升压拓扑结构中实施ADP2441/ADP2442

    电子发烧友网站提供《如何在同步反相降压/升压拓扑结构中实施ADP2441/ADP2442.pdf》资料免费下载
    发表于 11-29 09:34 0次下载
    如<b class='flag-5'>何在</b>同步反相降压/升压拓扑结构中<b class='flag-5'>实施</b>ADP2441/ADP2442

    浅谈2023年10种新兴威胁趋势和黑客攻击手法

    安全研究人员发现,今天的攻击者更加关注窃取数据和获取利益,因此他们在实施网络攻击时,会尽量避免给受害者带来严重的破坏,因此不再使用大范围加密数据的攻击模式,而是选择最小破坏性的
    发表于 10-08 15:31 285次阅读

    定向红外对抗系统技术的应用原理

    随着激光、红外技术的不断发展,以及光电侦察、预警和防护系统的广泛应用,近年来,光电对抗成为发展最快、最引人注目的技术领域之一。作为一门新兴的学科,其基本目的是如何解决对一定距离的光电设备( 如激光测距仪、红外热象仪以及激光、红外、电视制导系统等)的快速、精确定位,并进一步
    发表于 09-11 12:05 422次阅读
    定向红外<b class='flag-5'>对抗</b>系统技术的应用原理

    M2351常见的故障注入攻击方式及原理

    的方式运作,这样的特性,经常被恶意攻击者,运用做为寻找系统漏洞的工具,藉此绕过预设的安全机制或取得受保护的资料。这方法之所以被攻击者经常使用,其根本原因不外乎相关攻击设备简单、容易取得且成本低廉,并且其
    发表于 08-25 08:23

    GPU发起的Rowhammer攻击常见问题

    以下信息提供了有关GPU发起的“Rowhammer”攻击的一些常见问题的答案。 你能用外行的话解释这个问题吗? 安全研究人员已经证明了GPU通过WebGL程序发起的微体系结构攻击,使他们能够构建指向
    发表于 08-25 06:41

    人工智能nlp是什么方向

    人工智能nlp是什么方向  人工智能(AI)已经日益普及,正在改变我们的方法和方式。AI 涵盖了许多领域,其中包括机器学习,计算机视觉,自然语言处理(NLP)等。在这些方向之中,NLP
    的头像 发表于 08-22 16:45 1172次阅读

    新唐对应四大物联网安全攻击的保护措施

    所需的安全功能。透过微控制器内部的硬件加密加速器可将设备端以及服务器间的数据传递透过加密方式进行有助于对抗通讯类攻击,结合秘钥存储器 (Key Store) 使用更能同时提高秘钥防窃能力。 而建构在
    发表于 08-21 08:14

    Arm的领域管理扩展(RME)介绍

    的软件进行攻击级别,如操作系统或管理程序。更高权限的软件仍然负责分配和管理领域使用的资源。但是,这种高级权限的软件无法访问域的内容或影响其执行流。 RME还可以动态地将内存传输到域的受保护地址空间。对于
    发表于 08-02 11:40

    什么是 DDoS 攻击及如何防护DDOS攻击

    什么是DDoS攻击?当多台机器一起攻击一个目标,通过大量互联网流量淹没目标或其周围基础设施,从而破坏目标服务器、服务或网络的正常流量时,就会发生分布式拒绝服务(DDoS)攻击。DDoS允许向目标发送
    的头像 发表于 07-31 23:58 728次阅读
    什么是 DDoS <b class='flag-5'>攻击</b>及如何防护DDOS<b class='flag-5'>攻击</b>

    什么是DDOS攻击?怎么抵抗DDOS攻击

    随着Internet互联网络带宽的增加和多种DDOS黑客工具的不断发布,DDOS拒绝服务攻击实施越来越容易,DDOS攻击事件正在成上升趋势。出于商业竞争、打击报复和网络敲诈等多种因素,导致很多
    的头像 发表于 07-31 17:39 741次阅读
    什么是DDOS<b class='flag-5'>攻击</b>?怎么抵抗DDOS<b class='flag-5'>攻击</b>

    如何应对自动驾驶的对抗攻击

      攻击者无法直接访问AI模型》仅在目标ECU中间接访问有时加密的软件   有时混淆(供应商的财产保护)   高度优化的CPU架构--没有反编译器,甚至没有反汇编程序
    发表于 06-07 10:07 152次阅读
    如何应对自动驾驶的<b class='flag-5'>对抗</b>性<b class='flag-5'>攻击</b>?

    做实大模型的产业价值,度小满深耕“NLP+金融”

    从度小满NLP开始,去看看AI走向产业的应用落地如何实现
    的头像 发表于 05-18 20:43 420次阅读
    做实大模型的产业价值,度小满深耕“<b class='flag-5'>NLP</b>+金融”