侵权投诉

谷歌Transformer大进化 机翻最强王者上线

2019-06-18 10:26 次阅读

谷歌EvolvedTransformer通过AutoML技术进行特定任务定制,在编码器和解码器模块底部的卷积层以分支模式运行,提高了语言建模的性能,目前在机器翻译领域可以达到最先进的结果。

Transformer是一种AI架构,最早是在2017年Google的科学家合著的论文《AttentionIsAllYouNeed》中介绍的,它比较擅长撰写散文和产品评论、合成声音、以古典作曲家的风格制作和声。

但是,谷歌的一个研究小组认为它可以更进一步使用AutoML技术,根据特定任务进行定制翻译。在一篇新发表的论文和博客中,研究人员描述了工作成果:与原始的Transformer相比,现在的Transformer既达到了最先进的翻译结果,也提高了语言建模的性能。

目前,他们已经发布了新的模型EvolvedTransformer——开放源代码的AI模型和数据集库,来作为Tensor2Tensor(谷歌基于tensorflow新开源的深度学习库,该库将深度学习所需要的元素封装成标准化的统一接口,在使用其做模型训练时可以更加的灵活)的一部分。

一般意义上,AutoML方法是从控制器训练和评估质量的随机模型库开始,该过程重复数千次,每次都会产生新的经过审查的机器学习架构,控制器可以从中学习。最终,控制器开始为模型组件分配高概率,以便这些组件在验证数据集上更加准确,而评分差的区域则获得较低的概率。

研究人员称,使用AutoML发现EvolvedTransformer需要开发两种新技术,因为用于评估每种架构性能的任务WMT'14英德语翻译的计算成本很高。

第一种是通过暖启动(warmstarting)的方式,将初始模型填充为Transformer架构进行播种,而不采用随机模型,有助于实现搜索。第二种渐进式动态障碍(PDH)则增强了搜索功能,以便将更多的资源分配给能力最强的候选对象,若模型“明显不良”,PDH就会终止评估,重新分配资源。

通过这两种技术,研究人员在机器翻译上进行大规模NAS,最终找到了EvolvedTransformer。

(EvolvedTransformer架构)

那么EvolvedTransformer有什么特别之处呢?

与所有深度神经网络一样,EvolvedTransformer包含神经元(函数),这些神经元从输入数据中传输“信号,并缓慢调整每个连接的突触强度(权重),这是模型提取特征和学习进行预测的方式。此外,EvolvedTransformer还能使每个输出元件连接到每个输入元件,并且动态地计算它们之间的权重。

与大多数序列到序列模型一样,EvolvedTransformer包含一个编码器,它将输入数据(翻译任务中的句子)编码为嵌入(数学表示)和一个解码器,同时使用这些嵌入来构造输出(翻译)。

但研究人员也指出,EvolvedTransformer也有一些部分与传统模型不同:在编码器和解码器模块底部的卷积层以分支模式运行,即在合并到一起时,输入需要通过两个单独的的卷积层。

虽然最初的Transformer仅仅依赖于注意力,但EvolvedTransformer是一种利用自我关注和广泛卷积的优势的混合体。

(原始Transforme与EvolvedTransformer的性能对比)

测试中,研究人员将EvolvedTransformer与原始Transformer在模型搜索期间使用的英德翻译任务进行了比较,发现前者在BLEU(评估机器翻译文本质量的算法)和Perplexity(衡量概率分布预测样本的程度)上性能更好。

在较大的数据中,EvolvedTransformer达到了最先进的性能,BLEU得分为29.8分。在涉及不同语言对和语言建模的翻译实验中,EvolvedTransformer相比于原始Transformer的性能提升了两个Perplexity。

原文标题:谷歌Transformer大进化,机翻最强王者上线

文章出处:【微信号:Aiobservation,微信公众号:人工智能观察】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

第二届AETA地震预测AI算法大赛启动啦!

三九严冬 天寒地冻 即便在号称四季如夏的深圳 这几天也冻得瑟瑟发抖! 天这么冷除了抖腿还能做啥子嘛?....
的头像 Duke 发表于 01-15 19:30 416次 阅读
第二届AETA地震预测AI算法大赛启动啦!

聪明又能干的机器人化学家 每天工作21.5小时,自主发现新型材料

  有一个聪明又肯干的员工是一种怎样的体验? 灵活穿梭在化学实验室的科学家,可能不是人类,而是AI机....
的头像 机器人大讲堂 发表于 01-15 17:37 199次 阅读
聪明又能干的机器人化学家 每天工作21.5小时,自主发现新型材料

百度灵医智惠推出全系AI医疗解决方案

对于AI+医疗类公司,艾瑞认为,综合技术能力主要体现在覆盖医疗场景的广度与对医疗垂直及细分领域研究的....
的头像 牵手一起梦 发表于 01-15 17:34 198次 阅读
百度灵医智惠推出全系AI医疗解决方案

物联网和AI新格局的塑造,从半导体上游开始

物联网的碎片化和无处不在的AI几乎是缔造创新的两个最大的机会。在芯片领域,它袭卷了半导体上下游,当然....
的头像 电子发烧友网 发表于 01-15 17:09 422次 阅读
物联网和AI新格局的塑造,从半导体上游开始

快讯:无人机、机器人齐上阵天津电网刷新历史最大负荷纪录

Clearbot是由总部位于中国香港的初创公司Open Ocean Engineering开发的一款....
的头像 机器人大讲堂 发表于 01-15 17:06 93次 阅读
快讯:无人机、机器人齐上阵天津电网刷新历史最大负荷纪录

腾讯启动碳中和规划,用AI与大数据助力实现0碳排放

冰川消融、海平面上升、极端天气事件……气候变暖带来的一系列问题,正影响我们每一个人的生活。 减少碳排....
的头像 电网智囊团 发表于 01-15 16:58 342次 阅读
腾讯启动碳中和规划,用AI与大数据助力实现0碳排放

机器翻译频繁翻车,微信谷歌无一幸免

目前,机器翻译领域主要使用的NMT架构都差不多,一方面问题出在解码器语言模型,使用的语料让它学习到了....
的头像 机器人大讲堂 发表于 01-15 16:49 173次 阅读
机器翻译频繁翻车,微信谷歌无一幸免

快讯:智能机器人在沈阳核酸检测中开展试验性应用

近日,在沈阳市面向市民的第三轮核酸检测过程中,“灵采”咽拭子采样机器人(以下简称“灵采”机器人)进行....
的头像 机器人大讲堂 发表于 01-15 16:38 181次 阅读
快讯:智能机器人在沈阳核酸检测中开展试验性应用

微软的DeBERTa和谷歌的T5 + Meena——已经成为第一个超越人类基线的模型

利用常识进行阅读理解推理(ReCoRD),模型可以从CNN和每日邮报的文章选择列表中预测出隐藏的单词....
的头像 机器人大讲堂 发表于 01-15 16:36 76次 阅读
微软的DeBERTa和谷歌的T5 + Meena——已经成为第一个超越人类基线的模型

MedicTec大麦客首款纯人工智能手表守望者1问世 1月18日正式线上发售

港股上市公司汇彩控股旗下品牌MedicTec大麦客首款纯人工智能手表守望者1惊艳问世,1月18日正式....
的头像 Les 发表于 01-15 15:32 150次 阅读
MedicTec大麦客首款纯人工智能手表守望者1问世 1月18日正式线上发售

谷歌联合Fitbit团队开发可穿戴设备

外媒消息,谷歌日前宣布,其终于完成了对Fitbit的收购,该消息是由谷歌的设备和服务高级副总裁Ric....
的头像 lhl545545 发表于 01-15 15:13 113次 阅读
谷歌联合Fitbit团队开发可穿戴设备

谷歌在印度下架30款个人贷款应用

据外媒报道,谷歌Play Store已经更新了关于印度个人贷款应用的政策。这些应用必须突出贷款的关键....
的头像 如意 发表于 01-15 14:59 348次 阅读
谷歌在印度下架30款个人贷款应用

Cradlewise开发内置显示器的AI智能婴儿床

据engadget报道,对于新父母来说,世界上没有什么比睡觉更有价值了。为了帮助解决这个问题,Cra....
的头像 如意 发表于 01-15 14:44 116次 阅读
Cradlewise开发内置显示器的AI智能婴儿床

开放智能:聚焦边缘端部署痛点,推出边缘AI推理框架Tengine

Tengine要做AIoT时代的Android随着越来越多的物联网终端设备在各个行业加速部署,边缘计....
的头像 我快闭嘴 发表于 01-15 14:05 169次 阅读
开放智能:聚焦边缘端部署痛点,推出边缘AI推理框架Tengine

AI芯片企业燧原科技成融资 “专业户”,究竟有何魅力?

2021 年第二个工作日,总部位于上海的一家中国人工智能芯片企业发布了 C 轮 18 亿元融资喜讯。....
的头像 我快闭嘴 发表于 01-15 14:01 196次 阅读
AI芯片企业燧原科技成融资 “专业户”,究竟有何魅力?

百度正式发布2021年十大科技趋势预测

1月15日,百度研究院正式发布2021年十大科技趋势预测,智能技术将不断渗透到千行万业以及我们的生活....
的头像 lhl545545 发表于 01-15 11:35 135次 阅读
百度正式发布2021年十大科技趋势预测

蜂拥而上必有泡沫 AI独角兽抱团IPO之路不好走

本文基于公开资料撰写,仅作为信息交流之用,不构成任何投资建议。 2020年尾声,一众AI独角兽集体冲....
的头像 Les 发表于 01-15 11:33 204次 阅读
蜂拥而上必有泡沫 AI独角兽抱团IPO之路不好走

这个AI找狗工具识别准确率高达95%

美国政府的一项调查显示,7%的走失狗再也找不回来了。现在美国一家名为Shadow的初创公司正试图利用....
的头像 如意 发表于 01-15 11:21 345次 阅读
这个AI找狗工具识别准确率高达95%

谷歌花21亿美元收购可穿戴设备长沙Fitbit

据TheVerge报道,谷歌和可穿戴设备厂商 Fitbit 今天在其官网表示,Fitbit 已被谷歌....
的头像 如意 发表于 01-15 11:12 191次 阅读
谷歌花21亿美元收购可穿戴设备长沙Fitbit

AI驱动的自动化平台的四大关键要素

COVID-19 带来的挑战倒逼全球几乎每一个行业都在加速其数字化转型,企业越来越需要直面混合云环境....
的头像 电子魔法师 发表于 01-15 10:58 120次 阅读
AI驱动的自动化平台的四大关键要素

AI+医疗迈进医疗产业“深水区”

智能经济时代,生命健康领域、医疗行业频频吸引互联网科技企业的焦点,“互联网+”、“AI+”等新模式、....
的头像 Les 发表于 01-15 10:49 281次 阅读
AI+医疗迈进医疗产业“深水区”

新三板AI企业超音速:宁德时代上游供应商

在股市近期的新能源热潮中,宁德时代(SZ:300750)是当之无愧的锂电龙头,可以算是锂电茅台。 宁....
的头像 Les 发表于 01-15 10:37 302次 阅读
新三板AI企业超音速:宁德时代上游供应商

AI医疗痛点分析,AI+医疗的未来走向

因疫情的影响,AI技术在新药研发、辅助诊断等领域的突出作用受到广泛关注,AI医疗的前景愈发受到期待。
发表于 01-15 09:56 96次 阅读
AI医疗痛点分析,AI+医疗的未来走向

小米手机部总裁谈AI智能场景优化:工程师正逐步适配更多的应用场景

1月14日消息,小米集团副总裁、手机部总裁曾学忠昨天发文谈AI智能场景优化。 曾学忠称在使用手机的过....
的头像 Les 发表于 01-15 09:48 324次 阅读
小米手机部总裁谈AI智能场景优化:工程师正逐步适配更多的应用场景

AI时代的追星逐浪,中国科技的奋发自强

最近,互联网公司的技术责任与时代使命一下成为社会热议的话题。而在争议的另一面,则是很多互联网公司并没....
的头像 电子魔法师 发表于 01-15 09:48 264次 阅读
AI时代的追星逐浪,中国科技的奋发自强

谷歌正式完成以21亿美元收购可穿戴设备Fitbit交易

可穿戴设备厂商Fitbit宣布,已正式加入谷歌大家庭。这意味着谷歌正式完成以21亿美元收购Fitbi....
的头像 工程师邓生 发表于 01-15 09:41 148次 阅读
谷歌正式完成以21亿美元收购可穿戴设备Fitbit交易

行业加速转型,自动驾驶技术成焦点

受疫情影响,有着半个世纪历史的国际消费类电子产品展览会(以下简称CES)首次以线上形式举办。尽管主办....
的头像 电子魔法师 发表于 01-15 09:36 140次 阅读
行业加速转型,自动驾驶技术成焦点

AI制药迎来发展期

2020年12月,字节跳动向AI制药人才伸出了橄榄枝;9月,腾讯推出首个AI驱动药物研发平台“云深智....
的头像 电子魔法师 发表于 01-15 09:18 368次 阅读
AI制药迎来发展期

RISC-V AI单板计算机BeagleV技术分析

U74定位于中档的处理器核,主要与ARM公司的Cortex-A55对标(A55是双发射in-orde....
发表于 01-15 09:18 398次 阅读
RISC-V AI单板计算机BeagleV技术分析

AI教育机器人或将成为下一个千亿级市场

随着二胎时代到来,儿童数量激增,但是儿童健康成长教育问题尚需解决。据了解,中国患有自闭症问题儿童人数....
的头像 电子魔法师 发表于 01-15 09:18 240次 阅读
AI教育机器人或将成为下一个千亿级市场

谷歌正式完成以21亿美元收购Fitbit交易

北京时间1月14日晚间消息,据报道,可穿戴设备厂商Fitbit今日宣布,已正式加入谷歌大家庭。这意味....
的头像 电子魔法师 发表于 01-15 09:09 136次 阅读
谷歌正式完成以21亿美元收购Fitbit交易

芯盾时代入选2020爱分析人工智能厂商全景报告

12月19日,爱分析正式发布《2020爱分析·人工智能厂商全景报告》,报告根据调研,遴选出在金融、消....
的头像 芯盾时代 发表于 01-14 16:56 306次 阅读
芯盾时代入选2020爱分析人工智能厂商全景报告

日本 NEC 宣布开发智能视觉内镜:基于 AI 技术医疗设备软件

近日,日本跨国IT和电子公司 NEC 宣布开发智能视觉内镜。这是一款基于 AI 技术的、用于结肠镜检....
的头像 工程师邓生 发表于 01-14 15:43 473次 阅读
日本 NEC 宣布开发智能视觉内镜:基于 AI 技术医疗设备软件

谷歌修复Pixel 4A 5G触摸屏问题

去年12月,一些谷歌Pixel 4A 5G用户在进行了安全更新下载以后,发现手机触摸屏轻击时没有反应....
的头像 lhl545545 发表于 01-14 15:38 231次 阅读
谷歌修复Pixel 4A 5G触摸屏问题

医疗AI为代表的医疗器械将面临更加严格的审批考验?

  《医疗器械监督管理条例(修订草案)》是《国务院2020年立法工作计划》中明确的立法项目之一,由市....
的头像 IoT科技评论 发表于 01-14 15:20 434次 阅读
医疗AI为代表的医疗器械将面临更加严格的审批考验?

国产手机厂商该如何摆脱各自困境?

“虽然没了谷歌服务这部手机基本上还能正常能使用,但具体操作起来还是有诸多不便之处,所以我也只好忍痛割....
的头像 我快闭嘴 发表于 01-14 15:19 246次 阅读
国产手机厂商该如何摆脱各自困境?

字节跳动的一颗“医疗心”

  有算法与流量入口的加持,大概率不能成为字节“后发制人”的法宝。   字节跳动招人了。 据《晚点 ....
的头像 IoT科技评论 发表于 01-14 15:14 2521次 阅读
字节跳动的一颗“医疗心”

2020年披露融资破千亿 16家企业获得总金额超过10亿

岁末年初,多家半导体大厂发布涨价通知函,带来的直接利好是半导体厂商业绩提升。作为最高精尖科技的代表性....
的头像 21克888 发表于 01-14 15:12 600次 阅读
2020年披露融资破千亿 16家企业获得总金额超过10亿

医生在医学影像AI研发中需扮演什么样的角色?

  作为一个很好的伙伴,医生要了解研究的框架和思路,跟随研究的进度,能学习、有知识和更新,可以对研究....
的头像 IoT科技评论 发表于 01-14 15:12 178次 阅读
医生在医学影像AI研发中需扮演什么样的角色?

文远知行完成B2/B3轮融资,C轮融资已启动

L4级自动驾驶出行公司文远知行WeRide宣布完成B2、B3两轮融资,B轮总融资金额达3.1亿美元。....
的头像 我快闭嘴 发表于 01-14 15:06 289次 阅读
文远知行完成B2/B3轮融资,C轮融资已启动

国内AI医疗行业头部企业科亚医疗实现从B到D的多轮跨越

一年内,科亚医疗实现了从B轮到D轮的多轮跨越。 近日,国内AI医疗行业头部企业「科亚医疗」(北京科亚....
的头像 IoT科技评论 发表于 01-14 15:06 370次 阅读
国内AI医疗行业头部企业科亚医疗实现从B到D的多轮跨越

第三届中国行业发展高峰论坛在上海举行

    “第三届中国行业发展高峰论坛”在上海交通大学安泰经济与管理学院成功举行,多位与会嘉宾对中国产....
的头像 中欧商业评论 发表于 01-14 14:33 502次 阅读
第三届中国行业发展高峰论坛在上海举行

工信部推工业互联网发展 计划打造30个5G全连接工厂

工信部推工业互联网发展 计划打造30个5G全连接工厂 工业互联网正在赋能千行百业的数字化转型,推动我....
的头像 Les 发表于 01-14 14:14 441次 阅读
工信部推工业互联网发展 计划打造30个5G全连接工厂

基于AI的ECNS技术,能够让语音通话摆脱周围环境影响

游戏中与队友的语音通话遇到杂音干扰,电话会议被邻居家的装修声打断,这些司空见惯的通话场景,应该如何应....
的头像 Qualcomm中国 发表于 01-14 11:53 278次 阅读
基于AI的ECNS技术,能够让语音通话摆脱周围环境影响

国内AI医疗赛道首家上市公司或将诞生

据证监会官网消息,推想医疗科技股份有限公司(下称“推想医疗”)拟前往科创板上市,中信建投证券已于20....
的头像 我快闭嘴 发表于 01-14 11:16 224次 阅读
国内AI医疗赛道首家上市公司或将诞生

谷歌发布智能扬声器和智能显示器访客模式功能

据外媒消息,谷歌日前发布了针对智能扬声器和智能显示器的访客模式功能——Google Guest。
的头像 lhl545545 发表于 01-14 11:12 921次 阅读
谷歌发布智能扬声器和智能显示器访客模式功能

谷歌Pixel 4a 5G手机触摸屏点击无响应 需要连续多次系统才会感应到

谷歌Pixel 4a 5G是谷歌旗下定位中端的5G手机,该机因Bug困扰了不少用户。 1月14日消息....
的头像 Les 发表于 01-14 11:12 179次 阅读
谷歌Pixel 4a 5G手机触摸屏点击无响应 需要连续多次系统才会感应到

谷歌Pixel 4a 5G的触摸屏有问题点击无响应,至今仍未修复

谷歌Pixel 4a 5G是谷歌旗下定位中端的5G手机,该机因Bug困扰了不少用户。 1月14日消息....
的头像 工程师邓生 发表于 01-14 11:09 376次 阅读
谷歌Pixel 4a 5G的触摸屏有问题点击无响应,至今仍未修复

据爆料,阿里巴巴人工智能实验室(AI Labs)基本关闭

近日,据职场社交平台脉脉用户爆料,阿里巴巴人工智能实验室(AI Labs)基本关闭,阿里官网和达摩院....
的头像 Les 发表于 01-14 11:03 438次 阅读
据爆料,阿里巴巴人工智能实验室(AI Labs)基本关闭

请问如何下载谷歌开源图片和标签?

如果你想建立自己的目标检测网络但是你没有足够的数据集来做训练怎么办?你可以下载 Google Open Images Dataset,这里有600...
发表于 12-01 07:21 0次 阅读
请问如何下载谷歌开源图片和标签?

神经机器翻译的方法有哪些?

目前,神经机器翻译(NMT)已经成为在学术界和工业界最先进的机器翻译方法。最初的这种基于编码器-解码器架构的机器翻译系统都...
发表于 11-23 12:14 0次 阅读
神经机器翻译的方法有哪些?

浅析ADK Google fast pair功能

Biu~哈喽大家好,今天接着聊聊ADK的新功能。在ADK6.4的release中,有一个sink 新功能被正式release——Google Fast Pa...
发表于 09-20 09:05 1057次 阅读
浅析ADK Google fast pair功能

好奇~!谷歌的 Edge TPU 专用 ASIC 旨在将机器学习推理能力引入边缘设备

在去年于旧金山召开的 Google Next 大会上,Injong Rhee 通过主题演讲披露了谷歌公司的两款全新硬件产品:一款开发单片,外加...
发表于 03-05 21:20 1604次 阅读
好奇~!谷歌的 Edge TPU 专用 ASIC 旨在将机器学习推理能力引入边缘设备

谷歌发力5G车联网应用,安卓系统植入法日系汽车

随着5G网络的深入推进,物联网的细分市场越来越多,科技企业纷纷加码,欲抢先布局占据有利位置。其中,智能汽车是未来生活的重要...
发表于 10-15 14:05 1465次 阅读
谷歌发力5G车联网应用,安卓系统植入法日系汽车

谷歌的Dataset Search开放至今,为什么还搜不到我的数据集?

本月早些时候,谷歌推出了数据集搜索专用引擎 Dataset Search,这是一个建立在元数据上的搜索引擎,可以对网络上数千个存储库...
发表于 09-28 16:22 1283次 阅读
谷歌的Dataset Search开放至今,为什么还搜不到我的数据集?

解密美国五角大楼人工智能中心

2016年10月,新成立的国防创新委员会首次提出了一系列建议(该委员会是美国国防部高级领导的顾问机构,成员包括来自私营部门、...
发表于 08-21 09:35 1430次 阅读
解密美国五角大楼人工智能中心

一周大事件 | Google一面欢喜一面忧

1、刷屏的谷歌“猜画小歌“ 7月18日 Google 推出首款微信小程序,它采用了“人类绘画+人工智能猜题”的模式,让很多人...
发表于 07-24 08:42 1416次 阅读
一周大事件 | Google一面欢喜一面忧

没想到,有一天AI也会被「调戏」!

从“跳一跳”之后,又有一款小程序游戏因其独特好玩的个性,在朋友圈C位出道了。 几天前,谷歌发布了一款名为“猜画小歌”...
发表于 07-23 09:11 1787次 阅读
没想到,有一天AI也会被「调戏」!

机器翻译三大核心技术原理 | AI知识科普 2

神经机器翻译 讲完了基于规则的机器翻译和基于统计的机器翻译,接下来我们来看下基于端到端的神经机器翻译。 神经机器翻译...
发表于 07-06 10:46 1764次 阅读
机器翻译三大核心技术原理 | AI知识科普 2