0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何解决NER覆盖和不连续问题

深度学习自然语言处理 来源:深度学习自然语言处理 作者:zenRRan 2021-09-08 10:48 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

论文:A Span-Based Model for Joint Overlapped and DiscontinuousNamed Entity Recognition

链接:https://aclanthology.org/2021.acl-long.372.pdf

代码:https://github.com/foxlf823/sodner

提取摘要

由于普通的NER问题被研究的透透的了,本文主要解决一种稍微复杂些问题:一种带有覆盖和不连续(Overlapped and Discontinuous)的命名实体识别任务。

而在这两者研究上来说,前人只是要么解决覆盖问题,要么解决不连续问题,但是本文提出一种联合解决这两种问题的span-based方法。

span-based方法昨天也提到过了,所以关于实体+关系抽取的任务都可以尝试。

本文通过两个步骤构建模型:

通过列举所有可能的text span来识别出实体片段(entity fragments);

在这些entity fragments上预测是两种关系overlapping or succession。

这样,我们不仅可以识别Discontinuous的实体,同时也可以对Overlapped的实体进行双重检查。

通过上述方法轻松将NER装换成RE(Relation Extraction)任务。最终实验在很多数据集上比如CLEF, GENIA andACE05上展现除了很强劲的性能。

该模型的步骤为

input一方面通过pre-train模型获取word rep,一方面通过dependency parsing获取句法信息;

GCN集合LSTM的输出和句法输入,得到syntax-enhanced的新的表达;

获取所有span表示;

通过两个MLP预测span是否为实体,以及实体时间是否有关系;

最后每个loss加上权重,为最终优化目标。

关键分类

AGGCN用来融入句法信息

attention-guided GCN (AGGCN)比普通GCN要强一些,所以这里选用该方法。传统的GCN:

124ac384-1003-11ec-8fb8-12bb97331649.png

而AGGCN就是使用self-attention,替换以前的邻接矩阵A,最后通过线性方法将multi head生成的结果合一:

12545908-1003-11ec-8fb8-12bb97331649.png

Span的表示

解码先预测实体片段,再预测关系。

12860e4e-1003-11ec-8fb8-12bb97331649.png

解码公式

损失计算

实验实验数据介绍

在数据上的表现

在其他数据上与前人的对比,虽然性能不如SOTA,但是这种Span-based方式和SOTA差不了多少,是个新颖的想法。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 模型
    +关注

    关注

    1

    文章

    3648

    浏览量

    51712
  • nlp
    nlp
    +关注

    关注

    1

    文章

    491

    浏览量

    23191

原文标题:ACL2021 | 一种巧妙解决NER覆盖和不连续问题的方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Neway微波的高频覆盖

    Neway微波高频覆盖的核心优势体现在其产品支持从低频到毫米波频段(DC-110 GHz)的全面覆盖,满足高频场景对低损耗、抗干扰及环境适应性的严苛需求。一、高频覆盖范围与核心能力l 全频段支持
    发表于 11-20 09:02

    如何在下载程序时保护flash中的用户数据不被覆盖

    程序或debug时,覆盖这些用户数据?尝试了更换地址也不行,stm32cubeprogrammer的“进行编程之前不进行闪存擦除”也会被擦除,有什么好办法?
    发表于 08-14 06:38

    安康电缆外径测量仪:连续测线漂移 厂家直供价更低

    上。 电缆外径测量仪通过光电技术实现“连续测线漂移”,厂家直供模式提供显著价格优势,同时具备高精度、高稳定性和抗干扰能力。用户实测数据验证了其在实际生产中的可靠性,是线缆行业质量控制的理想选择
    发表于 07-10 14:30

    何解决罗德与施瓦茨示波器新探头量程匹配问题

    在电子测量领域,示波器与探头的匹配度直接影响测量精度与效率。当用户为新购的罗德与施瓦茨示波器配置新探头时,若出现量程匹配(如信号显示异常、测量误差过大等),往往源于探头参数设置、硬件兼容性或环境
    的头像 发表于 06-07 15:32 544次阅读
    如<b class='flag-5'>何解</b>决罗德与施瓦茨示波器新探头量程<b class='flag-5'>不</b>匹配问题

    87233系列USB连续波功率探头

    USB连续波功率探头频率范围覆盖8kHz~67GHz,最高功率测量准确度可达±0.20dB。本产品体积小、重量轻、采用USB接口供电和通信,可配接到计算机使用,能灵活扩展电子测量仪器和测试系统的功率测量功能,主要用于外场测试、生产线测试和系统集成。 简述 宽频带、大动态范
    的头像 发表于 04-21 16:37 489次阅读
    87233系列USB<b class='flag-5'>连续</b>波功率探头

    各位大佬好 请问如何能将DAQ采集程序内部波形图的数连续送给DAQ输出程序?

    各位大佬好 请问如何能将DAQ采集程序内部波形图的数连续送给DAQ输出程序?直接连貌似因为隧道模式问题无法输出,请问此类问题如何解
    发表于 04-02 10:38

    STM32 LCD驱动段码屏,SEG1-SEG8可以连续配置吗?

    求教各位大佬,在使用4*33的段码屏中发现段码引脚占用太对功能引脚,段码驱动引脚配置可以连续吗?类似于这种配置?
    发表于 03-12 06:55

    DLPC3478投影灰阶图像出现条纹,亮度连续的原因?

    现在使用的平台和相关配置如图1,在投影灰阶图像时会发现投影的图像不正常, 有条纹存在,亮度连续。投影原图为图2,错误图像为图3。 请帮忙解答一下,谢谢。
    发表于 02-28 06:45

    DLP6500FYE投影时灰度连续是怎么回事?

    1、我使用的是反射式DMD+外部LED光源,投影时同样出现了上面链接中投影灰度连续的情况,灰度呈阶梯状变化,且在128bit处也是必有跳变,无法实现线性变化。 相机曝光时间约为2ms,投影曝光
    发表于 02-21 10:20

    DLP5530S-Q1在做色温标定时发现DM档位下,低亮度调节连续,可能是什么原因造成的?

    我们在做色温标定时发现DM档位下,低亮度调节连续。请问可能是什么原因造成的? 横坐标DAC设定值,纵坐标亮度 DM模式10-9KV/A DM模式11-6KV/A
    发表于 02-20 08:41

    采用AD62P29进行模数转换,对正弦信号的转换后的波形连续,会出现台阶?为什么?

    为什么我们采用AD62P29进行模数转换,对正弦信号的转换后的波形连续,会出现台阶?
    发表于 02-06 07:13

    使用ADS1158进入自动扫描模式,对REF GAIN TEMP VCC OFFSET内部信息进行AD转换,如何连续读取?

    我使用ADS1158进入自动扫描模式,对REF GAIN TEMP VCC OFFSET 内部信息进行AD转换,转换后的数据只能读取一个,无法连续读取,请问如何连续读取,还用我用的参考电压是2.5V,读取的数据为0xE207,还有除VCC以外的数据均是错误的,显示超出量
    发表于 01-17 08:36

    通过ADS5421 EVM采样正弦波转换输出的数据有偏置,负值到正值的连接点处连续,怎么解决?

    通过ADS5421 EVM采样正弦波转换输出的数据有偏置,负值到正值的连接点处连续,如下图所示
    发表于 01-17 06:56

    ADS1282无法实现转换速率为128K的连续转换与数据读取,如何解决?

    SCLK最高频率为1/2fCLK,因为输出32位数据结果需要至少64个ADC时钟周期。这显然是一个矛盾:无法实现转换速率为128K的连续转换与数据读取。请问:如何解决该问题?
    发表于 01-14 06:23

    使用ADS1293EVM接心电模拟器做测试,波形连续中间有跳跃是什么原因?

    大家好,我在使用ADS1293EVM 接心电模拟器做测试的时候,发现一个小问题,波形连续,中间有跳跃的情况,请问这是什么问题?是放大倍数不够还是AD分辨率的原因呢?谢谢! 软件配置使用的是默认3lead方式.
    发表于 12-27 06:22