0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌重磅发布自然问题数据集

电子工程师 来源:cc 2019-01-28 15:27 次阅读

谷歌重磅发布自然问题数据集(Natural Questions),包含30万个自然发生的问题和人工注释的答案,16000个示例,并发起基于此数据集的问答系统挑战赛。有望成为自然语言理解领域的SQuAD!

开放领域问题回答(QA)是自然语言理解(NLU)中的一项基准任务,它的目的是模拟人类如何查找信息,通过阅读和理解整个文档来找到问题的答案。

比如,给定一个用自然语言表达的问题“为什么天空是蓝色的?”("Why is the sky blue?”),QA系统应该能够阅读网页(例如“天空漫射”的维基百科页面)并返回正确的答案,即使答案有些复杂和冗长。

然而,目前还没有可以用于训练和评估QA模型的大型、公开的自然发生问题(即由寻求信息的人提出的问题)和答案数据集。

这是因为构建用于QA任务的高质量数据集需要大量的真实问题来源,并且需要大量人力来为这些问题寻找正确答案。

为了促进QA领域的研究进展,谷歌今天发布自然问题数据集(Natural Questions, NQ),这是一个用于训练和评估开放领域问答系统的新的、大规模语料库,也是第一个复制人类查找问题答案的端到端流程的语料库。

Natural Questions数据集

NQ的规模非常庞大,包含30万个自然发生的问题,以及来自Wikipedia页面的人工注释答案,用于训练QA系统。

此外,NQ语料库还包含16000个示例,每个示例都由5位不同的注释人提供答案(针对相同的问题),这对于评估所学习的QA系统的性能非常有用。

Natural Questions数据集中的示例

由于回答NQ中的问题比回答琐碎问题(这些问题对计算机来说已经很容易解决)需要有更深入的理解,谷歌还发起了一项基于此数据集的挑战赛,以帮助提高计算机对自然语言的理解。

NQ挑战赛排行榜

NQ数据集包含307K训练示例、8K开发示例和8K测试示例。

目前,NQ挑战赛排行榜上只有谷歌的BERT模型和DecAtt-DocReader模型的成绩。在论文中,谷歌证明在长答案选择任务上的人类的最优成绩为87% F1,在短答案选择任务上人类的最优成绩为76%。

来自谷歌搜索的真实问题

NQ是第一个使用自然发生的查询创建的数据集,并专注于通过阅读整个页面来查找答案,而不是从一个短段落中提取答案。

为了创建NQ,我们从用户提交给Google搜索引擎的真实、匿名、聚合的查询开始。

然后,我们要求注释者通过通读整个维基百科页面来找到答案,就好像这个问题是他们自己提出的一样。注释者需要找到一个长答案和一个短答案,长答案涵盖推断问题所需的所有信息,短答案需要用一个或多个实体的名称简洁地回答问题。

对NQ语料库的注释质量进行评估,显示准确率达到90%。

注释包含一个长答案和一个短答案

研究人员在论文《自然问题:问答研究的基准》(Natural Questions: a Benchmark for Question Answering Research)中对数据收集的过程进行了全面描述,论文已发表在《计算语言学协会会刊》(Transactions of the Association for computing Linguistics)。大家也可以在NQ网站上查看更多来自数据集的示例。

自然语言理解挑战

NQ的目的是使QA系统能够阅读和理解完整的维基百科文章,其中可能包含问题的答案,也可能不包含问题的答案。

系统首先需要确定这个问题的定义是否足够充分,是否可以回答——许多问题本身基于错误的假设,或者过于模糊,无法简明扼要地回答。

然后,系统需要确定维基百科页面中是否包含推断答案所需的所有信息。我们认为,相比在知道长答案后在寻找短答案,长答案识别任务——找到推断答案所需的所有信息——需要更深层次的语言理解。

我们希望NQ的发布以及相关的挑战赛将有助于推动更有效、更强大的QA系统的开发。我们鼓励NLU社区参与进来,并帮助缩小目前最先进方法的性能与人类上限之间的巨大差距。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 谷歌
    +关注

    关注

    27

    文章

    5798

    浏览量

    103140
  • 人工智能
    +关注

    关注

    1773

    文章

    43354

    浏览量

    230100

原文标题:NLP新基准!谷歌重磅发布开放问答数据集,30万自然提问+人工注释答案

文章出处:【微信号:aicapital,微信公众号:全球人工智能】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    谷歌发布全新AI模型Genie

    谷歌近日发布了其全新的AI模型Genie,这一模型彻底改变了我们与数字世界的互动方式。Genie不仅可以接收文本提示、草图或想法,还能将这些创意迅速转化为一个可互动和玩耍的虚拟世界。
    的头像 发表于 02-28 18:25 1075次阅读

    谷歌发布开源AI大模型Gemma

    近日,谷歌发布了全新AI大模型Gemma,这款模型为各种规模的组织提供了前所未有的机会,以负责任的方式在商业应用中进行分发。
    的头像 发表于 02-28 17:38 334次阅读

    谷歌交互世界模型重磅发布

    谷歌模型
    北京中科同志科技股份有限公司
    发布于 :2024年02月28日 09:13:06

    谷歌推出AI扩散模型Lumiere

    近日,谷歌研究院重磅推出全新AI扩散模型Lumiere,这款模型基于谷歌自主研发的“Space-Time U-Net”基础架构,旨在实现视频生成的一次性完成,同时保证视频的真实性和动作连贯性。
    的头像 发表于 02-04 13:49 554次阅读

    OPT发布传感器及运动传动部件等重磅新品

    OPT带来全新升级DeepVision3软件,发布了传感器及运动传动部件等重磅新品。
    的头像 发表于 12-04 09:41 245次阅读

    ChatGPT重磅更新 OpenAI发布GPT-4 Turbo模型价格大降2/3

    ChatGPT重磅更新 OpenAI发布GPT-4 Turbo模型价格大降2/3 目前OpenAI算是全球大模型的引领者,一举一动都牵动着大家的关注,现在ChatGPT迎来重磅更新。 OpenAI
    的头像 发表于 11-07 18:20 2083次阅读
    ChatGPT<b class='flag-5'>重磅</b>更新 OpenAI<b class='flag-5'>发布</b>GPT-4 Turbo模型价格大降2/3

    keras制作mnist数据的流程

    第5讲讲解了keras制作mnist数据的流程,进一步的,有时候我们需要构建自己的数据。 以flower分类为例,见参考3(这里直接用别人的数据
    发表于 08-18 06:38

    如何利用keras打包制作mnist数据

    keras提供了内置的7个数据,直接调用用keras.datasets.xxx.load_data()函数即可下载并返回numpy格式数据,比较方便。但是有些时候我们希望加入自己的训练
    发表于 08-18 06:12

    华为云重磅发布盘古大模型3.0

    今天,华为开发者大会2023(Cloud)在中国东莞正式揭开帷幕。在下午举行的大会主题演讲中,华为常务董事、华为云CEO张平安重磅发布盘古大模型3.0,将围绕“行业重塑”“技术扎根”“开放同飞”三大创新方向,持续打造核心竞争力,为行业客户、伙伴及开发者提供更好的服务。
    的头像 发表于 07-07 15:35 807次阅读
    华为云<b class='flag-5'>重磅</b><b class='flag-5'>发布</b>盘古大模型3.0

    如何从PIC接收UART数据并将数据发布到HTML?

    我想玩弄从 PIC 接收 UART 数据并将数据发布到 HTML。是否有一个好的示例或文章有人会好心地指出我会收到 9600 波特数据并将其保存为字符串?
    发表于 06-01 06:23

    格灵深瞳体育新品重磅发布 为智慧校园体育建设强力赋能

    重磅发布 格灵深瞳体育新品重磅发布,深瞳阿瞳目为智慧校园体育建设强力赋能 在展会同期举办的长三角教育与学校装备数字化转型发展论坛上,格灵深瞳重磅
    的头像 发表于 05-30 10:30 463次阅读

    从fleetwise发布数据时,时间流数据库中出现约30秒的延迟的原因?怎么解决?

    我正在使用 S32G goldvip 上的 fleetwise 服务将车辆数据发布到云端。发布间隔设置为 2 秒,我每 2 秒看到一次数据反映在云(Timestream
    发表于 04-25 06:38

    四大突破性技术、多款旗舰新品重磅亮相!2023德施曼全球新品发布会完美收官!

    4月17日,“乘风破浪硬刚MAX”2023德施曼全球新品发布会隆重举行!莅临现场的有行业重磅嘉宾、40多家权威媒体、德施曼总裁祝志凌及各高层领导以及来自全国各地的近1000位优秀合作伙伴出席此次盛会
    的头像 发表于 04-17 17:57 775次阅读
    四大突破性技术、多款旗舰新品<b class='flag-5'>重磅</b>亮相!2023德施曼全球新品<b class='flag-5'>发布</b>会完美收官!

    重磅预告|《全球DDoS攻击现状与趋势分析报告》2023年发布

    点击“阅读原文”,了解更多华为数据通信资讯! 原文标题:重磅预告|《全球DDoS攻击现状与趋势分析报告》2023年发布会 文章出处:【微信公众号:华为数据通信】欢迎添加关注!文章转载请
    的头像 发表于 04-01 01:40 579次阅读
    <b class='flag-5'>重磅</b>预告|《全球DDoS攻击现状与趋势分析报告》2023年<b class='flag-5'>发布</b>会