0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

谷歌语义文本最新进展 开源两个新模型

DPVg_AI_era 来源:未知 作者:胡薇 2018-05-23 15:42 次阅读

自然语言理解研究的快速发展,特别是在学习语义文本表示方面的发展可以促进一些新颖的产品,如自动写作和“TalktoBooks”搜索等。本文介绍了谷歌在语义文本表示方面的最新进展,以及开源的两个新模型。

基于神经网络的自然语言理解研究的快速发展,它还可以帮助提高数据量有限的各种自然语言任务的性能,比如基于仅有的几百个标签样例来构建强大的文本。

下面,我们将讨论两篇关于Google语义表示最新进展的论文,以及在TensorFlow Hub上可以下载使用的两个新模型,我们希望开发者能够使用这些模型来构建新的、令人兴奋的应用程序。

语义文本相似度

在“从对话中学习语义文本相似性(Learning Semantic Textual Similarity from Conversations)”这篇论文中,我们引入了一种新的方法来学习语义文本相似性的句子表示。基于的想法是:如果句子有相似的反应分布,那么它们在语义上是相似的。例如,“你多大了?”和“你的年龄是多少?”这两个问题都是关于年龄的问题,可以用类似的回答作为响应,比如“我20岁”。相比之下,“你好吗?”和“你多大了?”"包含几乎相同的单词,它们有非常不同的含义并会对应不同的响应。

在这项工作中,我们的目标是通过一种响应式的分类任务来学习语义相似性,具体方法如下:给定一个对话输入,我们希望从一组随机选择的响应中对正确的响应进行分类。但是,最终的目标是学习一种能够返回表示各种自然语言关系编码的模型,包括相似性和关联性。通过添加另一个预测任务(在本例中是SNLI entailment数据集),并通过共享编码层强制执行,我们在相似度量方面获得了更好的性能,相似度的衡量指标有很多,例如用于句子相似性基准性度量的STSBenchmark和用于衡量一个问题/问题相似任务的CQA task B指标。这是因为逻辑推理与简单的等价性有很大的不同,并且为学习复杂的语义表示提供了更多的借鉴意义。

通用句子编码器

在“通用句子编码器(Universal Sentence Encoder)”中,我们引入了一个模型,它对上面描述的多任务训练进行了扩展,并增加了更多的任务,并使用一个类似于skip-thought的模型来训练它们,它可以在给定的文本范围内来预测句子。

然而,最初的skip-thought模型,是一种只使用编码器的体系结构,而非在最初的skip-thought模型中使用编码-解码体系结构来驱动预测任务的模型。通过这种方式可以大大减少训练时间,同时保留各种传递任务的性能,包括情感和语义相似的关系。其目的是提供一个单一的编码器,它可以支持尽可能广泛的应用程序,包括解释检测、关联、集群和自定义文本分类。

正如我们的论文中所描述的,通用句子编码器模型的一个版本使用了一个深度平均网络(DAN)编码器,而第二个版本使用了更复杂的自我参与的网络架构:变压器(Transformer)。

基于更复杂的体系结构的模型比简单的DAN模型在各种情绪和相似的处理任务上表现得更好,而对于短句来说它只是反应的稍微慢一些。然而,随着句子长度的增加,使用Transformer的模型的计算时间会显著增加,而DAN模型的计算时间则保持不变。

新模型

除了上面描述的通用句子编码器模型之外,我们还在TensorFlow Hub上共享两个新模型:通用句子编码器-large版(Universal Sentence Encoder - Large)和通用句子编码器-Lite版(Universal Sentence Encoder - Lite)。这些都是预先训练的张量模型,它的返回值是可变长度文本输入的语义编码。这些编码可用于语义相似度测量、相似性关系检测、分类或自然语言文本的聚类。

在我们的第二篇论文中描述了这个Large模型。它针对需要高精度语义表示的场景,以及以速度和大小为代价的最佳模型性能。

Lite模型是通过一个句子的词汇表而不是单词来训练的,这样就可以减少词汇的大小,这是模型大小的主要贡献者。它针对的是内存和CPU等资源有限的场景,比如基于设备或基于浏览器实现。

我们很高兴能与社区分享这项研究,以及这些模型。我们认为,我们在这里展示的只是一个开始,还有一些重要的研究问题需要解决,比如将技术扩展到更多的语言之上(上面讨论的模型目前支持英语)。我们还希望进一步开发这种技术,使它能够理解段落甚至文档级别的文本。在完成这些任务的过程中,有可能制造出真正“通用”的编码器。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码器
    +关注

    关注

    41

    文章

    3338

    浏览量

    131256
  • 开源
    +关注

    关注

    3

    文章

    2964

    浏览量

    41604

原文标题:谷歌语义文本最新进展+两个开源新模型

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    谷歌发布基础世界模型Genie,世界模型领域竞争升温

    继OpenAI和Meta之后,谷歌也在世界模型领域公布了其最新进展。据谷歌官网介绍,Genie是一个基于互联网视频训练的基础世界模型,能够从
    的头像 发表于 02-28 18:20 1024次阅读

    四个50亿+,多个半导体项目最新进展

    来源:全球半导体观察,谢谢 编辑:感知芯视界 Link 近日,半导体行业多个项目迎来最新进展,其中浙江丽水特色工艺晶圆制造项目、浙江中宁硅业硅碳负极材料及高纯硅烷系列产品项目、晶隆半导体材料及器件
    的头像 发表于 02-27 09:35 423次阅读

    两家企业有关LED项目的最新进展

    近日,乾富半导体与英创力两家企业有关LED项目传来最新进展
    的头像 发表于 01-15 13:37 295次阅读

    一文速览大语言模型提示最新进展

    尽管基本的CoT提示策略在复杂推理任务中展示出了强大的能力,但它仍然面临着一些问题,比如推理过程存在错误和不稳定等。因此,一系列的研究通过增强的提示方法激发大语言模型的能力,从而完成更通用的任务。
    的头像 发表于 12-27 14:19 275次阅读
    一文速览大语言<b class='flag-5'>模型</b>提示<b class='flag-5'>最新进展</b>

    国星光电LED器件封装及其应用产品项目最新进展

    近日,国星光电LED器件封装及其应用产品项目传来新进展
    的头像 发表于 11-03 14:19 424次阅读

    文心大模型4.0首发 文心一言用户规模已达4500万

    10月17日,以“生成未来”为主题的百度世界2023在北京首钢园举办,百度首席技术官王海峰解读文心大模型4.0背后的关键技术和最新进展
    的头像 发表于 10-22 10:26 589次阅读

    VisionFive 2 AOSP最新进展即将发布!

    非常开心地在这里和大家提前预告,我们即将发布VisionFive 2 集成 AOSP的最新进展!请大家多多期待吧~ 此次通过众多社区成员的支持和贡献(https://github.com
    发表于 10-08 09:15

    三大MLED项目“动起来” Mini LED项目传来最新进展

    日前,博敏电子与穿越光电等企业有关Mini LED的项目传来最新进展
    的头像 发表于 08-14 14:15 1031次阅读

    常温超导最新进展 韩国室温超导体“LK-99”撤回论文

    常温超导最新进展 韩国室温超导体“LK-99”撤回论文 有业界人士认为超导跟人工智能一样都能被视为第四次工业革命的奇点,近期室温超导概念非常火爆,我们一起看看常温超导最新进展。 上一次室温超导
    的头像 发表于 08-02 17:22 2233次阅读

    ASML***的最新进展

    、与 Mike在SEMICON 上的一些讨论以及 ASML 最近的财报电话会议中的一些内容。以分享了ASML光刻机的最新进展
    的头像 发表于 07-30 10:39 1776次阅读
    ASML***的<b class='flag-5'>最新进展</b>

    【AI简报20230714期】人工智能在日常生活中的应用,国产AI芯片最新进展公布!

    1. 大模型时代,国产AI芯片最新进展!算力集群化是必然趋势 原文: https://mp.weixin.qq.com/s/k-InpBMMJTUltuMcB2hKSg 在刚过去的2023世界人
    的头像 发表于 07-14 20:40 742次阅读
    【AI简报20230714期】人工智能在日常生活中的应用,国产AI芯片<b class='flag-5'>最新进展</b>公布!

    2023汽车电子创新技术研讨会圆满落幕:探讨汽车电子的最新进展、应用趋势与挑战

    、凌鸥创芯(晶丰明源)、顺络电子、芯科集成 、华邦电子、茂睿芯、芯派科技、芯海科技、东方中科等多家国内外知名企业的专家和领导共同参与,探讨汽车电子创新技术的最新进展、应用趋势和挑战。会议干货满满,现场精彩纷呈!!!     会议的开始,电子发烧友网
    发表于 06-14 17:41 897次阅读
    2023汽车电子创新技术研讨会圆满落幕:探讨汽车电子的<b class='flag-5'>最新进展</b>、应用趋势与挑战

    碳纳米管薄膜光探测器最新进展

    、碳纳米管薄膜红外探测器以及碳纳米管光电集成研究方面的最新进展。 图1 碳纳米管探测器和光电集成 碳纳米管材料由于具有高红外吸收系数(3×10⁵ cm⁻¹)、高迁移率(10⁵ cm² V s⁻¹)、基底
    的头像 发表于 06-12 17:02 345次阅读
    碳纳米管薄膜光探测器<b class='flag-5'>最新进展</b>

    清华大学在超快激光微纳制造领域获得新进展

    近日,清华大学机械系在超快激光微纳制造领域获得新进展,提出了基于超快激光等离激元分子调节实现自下而上的微纳功能器件加工制造策略,并揭示了激光诱导等离激元与材料的非线性作用机理,利用超快激光激发纳米腔等离激元效应
    的头像 发表于 05-31 14:38 546次阅读
    清华大学在超快激光微纳制造领域获得<b class='flag-5'>新进展</b>

    江波龙与深圳晶存商业秘密案件最新进展,仍处于一审程序,相关司法鉴定进行中

    3月31日,江波龙在回答投资者关于公司与深圳晶存公司的商业秘密案件进展情况,何时会有结果以及对公司的影响等问题时,公开了这起案件的最新进展。     江波龙于2020年6月以被告深圳市
    的头像 发表于 04-03 10:03 1314次阅读