OpenAI推出了一种自然语言处理模型

2019-04-29 18:16 次阅读

几个月前,OpenAI推出了一种自然语言处理模型,能够从维基百科以及亚马逊的产品评价中生产连贯的文本段落。

最近,其开放的OpenAI Five 人工智能系统在全网公开赛中放出了骄人战绩——击败了99.4%的玩家。在和3万多名人类玩家的对垒中,只输了42场。

OpenAI的大招还不止如此。今日凌晨,OpenAI发博文表示,在这些和其他研究的基础上,他们开发了一种深度神经网络稀疏 Transformer(Sparse Transformer),可以实现生成式模型,在文本、图像、声音等序列预测上都创造了新纪录。并且可预测的序列长度比之前可能的长度长了30倍。

“人工智能研究的一个现有挑战是如何对复杂数据中远距离,且较精细的相互依赖性进行建模,”OpenAI技术人员Rewon Child和软件工程师Scott Gray在博客文章中写道。“过去,在这些数据上使用的模型往往只是针对一个域专门设计的,或者是很难扩展到超过几千个元素的序列。相比之下,我们的模型可以使用上百层对有上万元素的序列进行建模,并且在多个域中实现最先进的性能。

这次稀疏 Transformer 研究的基础源于17年Google Brain设计的一种新型的网络结构,即《Attention Is All You Need》中提出的Transformer。不使用 RNN、CNN 模型,只使用 attention 机制构成的解码编码结构就达到了很好的效果。为谷歌团队于前年 6 月所提出的 NLP 经典之作,同时被 2017 NIPS 接收(2017 录取率约 20 %),引用次数已达1566次,并还在持续增加中。

与所有深度神经网络一样, Transformer包含排列在互连层中的神经元(本质用数学函数模拟生物神经元),这些层从输入数据传入“信号”,并缓慢调整每个连接的权重。这是模型如何提取特征并学习以及如何进行预测的关键点。在 Transformer 中,每个输出元素与每个输入元素都相连,它们之间的权重是动态计算出来的,而过程称为注意力。

上图:用稀疏 Tansformer 重计算(recomputaing)注意力矩阵前后的内存使用情况。

注意力机制通常需要为每个层和每个所谓的注意头创建一个注意力矩阵,从计算的角度来看这不是特别有效。例如,包含24,000个样本的2秒音频片段或64低分辨率图像的语料库可能分别占用590GB和154GB内存,而这远远高于用于训练AI模型的GPU的负载。

OpenAI的方法通过重新计算矩阵来最小化内存使用量,上面描述的590GB的内存需求在重新计算后仅需9.2GB;154GB可压缩到2.4GB。于是,实际上最大的内存开销就变得与层数无关了,因此就允许所述模型进行“非常深”的深度来进行训练。

由于单个注意力矩阵对于庞大的数据量输入并不是特别实用,因此本文提出的深度神经网络实现了稀疏注意力模式,其中每个输出仅从输入子集计算权重,对于跨越较大子集的神经元层,通过矩阵因子分解来转换矩阵,他们认为这是保持神经网络层学习数据模式能力所必需的一步。

上图:使用稀疏Transformer生成图像

通常,实现稀疏注意力需要将查询和关键矩阵进行“切片”,因此为了简化实验,OpenAI 实现了一组块稀疏核,这些核在 GPU 上高效地执行这些操作。另外,OpenAI开源了这些内核,并在Github上提供示例稀疏注意函数。

https://github.com/openai/sparse_attention

根据OpenAI的博客介绍到,即使经过改进,自回归序列生成对于非常高分辨率的图像或视频来说仍然是不切实际的。不过,提出的优化注意力操作可能是一次有益的探索,可以和其他(如多尺度方法)方法相结合来对高维数据进行建模。

原文标题:OpenAI提出稀疏Transformer模型:文本、图像、声音一网打尽,将可预测序列长度提高30倍

文章出处:【微信号:BigDataDigest,微信公众号:大数据文摘】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

扫地机器人未来的趋势是怎样的

随着行业的变革和迭代,扫地机器人也呈现出越来越细分化的趋势。
发表于 10-15 18:00 62次 阅读
扫地机器人未来的趋势是怎样的

人工智能是怎样在百度里面深入发展的

凭借着在语音技术、图像技术、视频技术、深度学习等人工智能领域的核心底层技术实力,百度倾力打造了阿波罗....
发表于 10-15 17:56 88次 阅读
人工智能是怎样在百度里面深入发展的

AI怎样去平衡社会利益与个人隐私

尽管西方国家越来越关注监控以及可能违反个人隐私的可能性,而中国一直在全力推进人工智能的应用。
发表于 10-15 17:30 76次 阅读
AI怎样去平衡社会利益与个人隐私

数据中心想要更有效的运行得怎样借助AI的力量

数据中心可以包含数万台服务器,这些服务器不断地从开发人员和用户运行数据处理任务。
发表于 10-15 17:20 24次 阅读
数据中心想要更有效的运行得怎样借助AI的力量

使用AI更多的是什么问题

可见人们越来越关注的是在数据隐私和数据保护方面,特别是现在这种技术如此普遍。
发表于 10-15 17:16 23次 阅读
使用AI更多的是什么问题

AI是怎样进入美学领域的

人工智能(Artificial Intelligence)的运用领域远超于人类原本的既定,持续不断得....
发表于 10-15 17:12 19次 阅读
AI是怎样进入美学领域的

麦当劳也开始搞AI了吗

跨境企业就需要格外着重配置基础设施的问题,境外服务器互联网连接或者是私人专线连接的选择和考量,目标群....
发表于 10-15 16:53 46次 阅读
麦当劳也开始搞AI了吗

AI语音 对于我们生活有什么影响

AI语音技术在许多领域皆能够缩短发出与接收数据信息的时间,其方式也较传统形式来得有趣得多,还能积极帮....
发表于 10-15 16:50 22次 阅读
AI语音 对于我们生活有什么影响

过分相信机器人会有怎样的后果

把握人工智能朝着正确的可控制的方向走,才可能对人类有利。
发表于 10-15 16:47 35次 阅读
过分相信机器人会有怎样的后果

华为是怎样一步步成为AI公司的

AI芯片是人工智能的核心,未来各巨头在人工智能领域的争夺,也就是AI芯片的争夺。
发表于 10-15 16:41 90次 阅读
华为是怎样一步步成为AI公司的

人工智能为何加快了资本市场的布局

数据量的增大也会不断优化AI落地的效果,智能交互将越来越原生化,逐步代替现有的交互方式,颠覆现有的产....
发表于 10-15 16:33 160次 阅读
人工智能为何加快了资本市场的布局

SocialFace-AI图谱精准识别 搭建社交领域智能人员数据库

近年来,人脸识别技术迅猛发展,据国际权威调查机构Gen Market Insights的《全球人脸识....
发表于 10-15 16:14 219次 阅读
SocialFace-AI图谱精准识别 搭建社交领域智能人员数据库

图像运动分析法的原理和有哪些优势及在汽车被动安全研究中的应用说明

图像运动分析法,是电测量系统!图像系统实时同步采集和图像序列运动分析二者相结合的研究方法。图像运动分....
发表于 10-15 16:00 14次 阅读
图像运动分析法的原理和有哪些优势及在汽车被动安全研究中的应用说明

主数据管理中发挥着作用的是区块链还是人工智能

随着数字化的不断推进和第四次工业革命的到来,主数据的价值和管理的重要性都将被提上议程。
发表于 10-15 15:32 19次 阅读
主数据管理中发挥着作用的是区块链还是人工智能

国家电网正式发布了泛在电力物联网白皮书2019

《白皮书》称,泛在电力物联网就是围绕电力系统各环节,充分运用5G、移动互联、人工智能等新技术,实现电....
发表于 10-15 11:31 62次 阅读
国家电网正式发布了泛在电力物联网白皮书2019

物联网法规将可能会创造一个巨大的商业机会

(1)更严格的合规性 当某项新技术诞生时,业界的兴奋、激进与政策和监管的滞后往往会形成鲜明的对比。在....
发表于 10-15 11:25 45次 阅读
物联网法规将可能会创造一个巨大的商业机会

用HMM解决问题

自然语言处理——67 HMM应用举例
发表于 10-15 10:55 13次 阅读
用HMM解决问题

人工智能和自动驾驶开始被冷落了吗

从人工智能发展规律看,自动驾驶真正的落地还有很长的路要走,需要经过较长的一段时间的沉寂,去踏踏实实的....
发表于 10-15 10:04 55次 阅读
人工智能和自动驾驶开始被冷落了吗

当下的中国人工智能产业该何去何从

人工智能,是近年来才发展起来的新兴产业。作为当前全球科技革命和产业变革的制高点,其已成为推动经济社会....
发表于 10-15 09:53 235次 阅读
当下的中国人工智能产业该何去何从

软件机器人有着怎样的发展趋势

软件机器人可以代替人或辅助人进行很多流程自动化任务,为企业减少大量的成本。
发表于 10-15 09:35 36次 阅读
软件机器人有着怎样的发展趋势

软件机器人是如何催化零售业的

零售行业对机器人的应用应该不会感到陌生。许多工厂或零售商仓库都在应用各种智能物资装卸搬运机器人,以此....
发表于 10-15 09:31 26次 阅读
软件机器人是如何催化零售业的

协作机器人与传统的机器人相比有什么区别

协作机器人只是整个工业机器人产业链中一个非常重要的细分类别,有它独特的优势,但缺点也很明显。
发表于 10-15 09:22 30次 阅读
协作机器人与传统的机器人相比有什么区别

AI在国外的政府里有什么作用

美国政府机构的数据中心得到整合并变得更加高效,并将人工智能和自动化技术应用在数据中心运营中。
发表于 10-15 09:14 35次 阅读
AI在国外的政府里有什么作用

中国移动第七届全球5G合作伙伴大会已在广州正式举行

5G技术不仅是新时代智能科技发展的基地,也是未来世界科技的制高点。随着5G与人工智能、物联网、云计算....
发表于 10-15 09:12 92次 阅读
中国移动第七届全球5G合作伙伴大会已在广州正式举行

中国云计算产业规模预计到2023年将超过3000亿元人民币

过去数年内,在企业、政府的双重推动下,国内云计算的产业规模不断增长。综合信通院、IDC等研究机构发布....
发表于 10-15 09:08 37次 阅读
中国云计算产业规模预计到2023年将超过3000亿元人民币

智能城市的诗和远方是怎样的

智能化让人憧憬,IBM从未间断过在智能领域研究和实践,而且总能洞察先机。
发表于 10-15 09:06 39次 阅读
智能城市的诗和远方是怎样的

人工智能将成为医疗行业的下一个前沿

人工智能的最大机遇之一或许是医疗行业。据ReportLinker预测,到2025年,这类支出将从21....
发表于 10-15 08:37 45次 阅读
人工智能将成为医疗行业的下一个前沿

什么是Cortex-A75?

时光飞逝,好像在昨天我们才刚发布ARM Cortex-A73这款最节能的高效能Cortex应用处理器,转眼之间我们就看到Cortex-A73量...
发表于 10-15 08:28 16次 阅读
什么是Cortex-A75?

python编程从入门到实践PDF电子书教程免费下载

本书是一本针对所有层次的 Python 读者而作的 Python 入门书。全书分两部分 :第一部分介....
发表于 10-15 08:00 21次 阅读
python编程从入门到实践PDF电子书教程免费下载

物联网平台的未来会是怎样的

物联网正以前所未有的速度发展,可以给企业提供新的机遇,并在相当长的一段时间内持续增长。
发表于 10-14 17:52 122次 阅读
物联网平台的未来会是怎样的

人工智能只有统计学吗

人工智能并未朝着我们期望的方向发展,而是更多地走向了统计学的范畴。
发表于 10-14 17:39 47次 阅读
人工智能只有统计学吗

边缘的地理情报如何利用人工智能来掌握

人工智能可以帮助增强地理空间情报任务分配和收集能力,即使在恶劣的环境中也能如此。
发表于 10-14 17:34 166次 阅读
边缘的地理情报如何利用人工智能来掌握

怎样可以将人工智能技术融入到生产和物流中去

利用人工智能技术检测质量缺陷、提高质量及业务效率,使用范围将扩大至国际市场。
发表于 10-14 17:20 228次 阅读
怎样可以将人工智能技术融入到生产和物流中去

自动化灌溉控制系统的问题使用电子技术的解决措施说明

自动化灌溉控制系统自 20 世纪 80 年代开始在美国、以色列等国家得到研究和应用,由于技术复杂、应....
发表于 10-14 16:10 50次 阅读
自动化灌溉控制系统的问题使用电子技术的解决措施说明

人工智能怎样促进高质量发展

人工智能大热,而以人脸识别为代表的计算机视觉技术可谓是人工智能应用最具代表性的一项,新兴人脸识别企业....
发表于 10-14 16:08 82次 阅读
人工智能怎样促进高质量发展

AI武器会怎样改变战争的形式

无人机加入战争意味着,AI深度加入战争的时代已经来临,且将导致重大的伤害和全面的战争升级,AI不介入....
发表于 10-14 16:04 43次 阅读
AI武器会怎样改变战争的形式

在未来AI视频的市场应用将非常广泛

商汤科技与日本最大海运公司商船三井株式会社(MOL)达成了合作,共同开发新型船舶影像识别和记录系统,....
发表于 10-14 15:24 55次 阅读
在未来AI视频的市场应用将非常广泛

人工智能时代的到来你准备好了吗

近年来,刷脸支付、无人驾驶汽车、智能机器人等人工智能应用产品走入大众视野,从日臻完善的智慧小镇到万万....
发表于 10-14 15:19 114次 阅读
人工智能时代的到来你准备好了吗

AI的前景还有多大

随着自动驾驶、生物识别、智能机器人等的快速发展和应用,AI的概念早已变得日渐清晰。
发表于 10-14 15:11 64次 阅读
AI的前景还有多大

Oral-B推出人工智能牙刷GENIUS X,近日在日本发布上市销售

为了口腔清洁,我们每天都要刷牙,但即便是用了电动牙刷,有时候也未必能将口腔完全彻底的清洁干净,总有遗....
的头像 牵手一起梦 发表于 10-14 14:34 479次 阅读
Oral-B推出人工智能牙刷GENIUS X,近日在日本发布上市销售

机器视觉领域有什么新的突破

致力于通过创新研究,使机器具有感知和理解周围世界的能力,并最终实现商业价值。
发表于 10-14 14:29 40次 阅读
机器视觉领域有什么新的突破

人工智能军备赛道将会怎样开启

AI是一个广义且模糊的术语,涵盖了从1950年代最初的规则遵循系统到现代的基于概率的机器学习(计算机....
发表于 10-14 14:23 294次 阅读
人工智能军备赛道将会怎样开启

未来的人工智能在出行方面会怎样影响

用人工智能和大数据解决交通出行问题,让城市更畅通,让每位乘客的出行体验更便捷、更舒心、更安全,让每位....
发表于 10-14 14:18 71次 阅读
未来的人工智能在出行方面会怎样影响

人工智能可以完完全全代替掉人工服务吗

目前5G技术主要是解决客户不愿意到网点来,但是又要跟“专家”面对面的问题,江苏银行率先运用5G技术推....
发表于 10-14 14:13 72次 阅读
人工智能可以完完全全代替掉人工服务吗

人工智能和大数据之间有什么关联

人工智能是为大数据而生的,也以大数据为前提,如果没有大数据,人工智能就是无源之水、无本之木。
发表于 10-14 14:04 341次 阅读
人工智能和大数据之间有什么关联

AI时代数据价值和隐私之间怎样平衡

基于深度学习算法的AI技术的诞生,让信息时代海量信息与数据第一次完整的为人带来巨大的价值,由此开启人....
发表于 10-14 11:50 69次 阅读
AI时代数据价值和隐私之间怎样平衡

国产嵌入式发展的思考

嵌入式操作系统和 IoT OS 将向大型复杂和可配置、更小更安全和硬化两个方向发展,以适应物联网和人....
发表于 10-14 11:37 56次 阅读
国产嵌入式发展的思考

以后的物联网会有怎样的蜕变

今物联网发展迅速,未来人们的日常需求将依赖于物联网
发表于 10-14 11:27 58次 阅读
以后的物联网会有怎样的蜕变

人工智能在出行领域有什么新成就

随着人工智能技术应用落地的成果日益增多,一部分投资机构凭借其敏锐的洞察力,很快发现了人工智能产业发展....
发表于 10-14 11:22 53次 阅读
人工智能在出行领域有什么新成就

AI核心的难点有哪些

情绪AI有三种类型及其组合。它们都面临着各自的挑战,目前都处于不同的发展阶段。
发表于 10-14 11:13 48次 阅读
AI核心的难点有哪些

Tej Kohli基金会“液态生物合成”解决方案,将终结可治愈角膜失明问题

Tej Kohli基金会倡导一种可扩展、易获取且平价的技术解决方案来终结全球角膜失明。
发表于 10-14 11:05 57次 阅读
Tej Kohli基金会“液态生物合成”解决方案,将终结可治愈角膜失明问题

MLX90640新型红外传感器的开发笔记免费下载

现在自己在做红外成像仪的越来越多了,两年前有个井下机电设备运行状态的科研项目,当时使用了 AMG88....
发表于 10-14 08:00 20次 阅读
MLX90640新型红外传感器的开发笔记免费下载

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 63次 阅读
为什么说FPGA是机器深度学习的未来?

射频功率放大器该怎么建模?

随着通信技术的发展, 射频电路在通信系统中得到了广泛的应用。功率放大器的研究和设计一直是通信发展中的重要课题。近年来,基于...
发表于 10-08 14:13 42次 阅读
射频功率放大器该怎么建模?

IC-CAP器件建模软件技术综述

IC-CAP器件建模软件技术综述
发表于 09-18 09:25 53次 阅读
IC-CAP器件建模软件技术综述

自然语言处理句法分析

Dependency Parser研究进展及主流方法
发表于 09-18 06:02 68次 阅读
自然语言处理句法分析

郑交会人工智能科技展

2019年,“智能+”作为一个概念,首次出现在政府工作报告中,人工智能也已连续三年被写入政府工作报告。在国务院印发的关于“新...
发表于 09-16 18:24 178次 阅读
郑交会人工智能科技展

Ubuntu下试玩visionseed工具的数据可视化

日前购得一套AI视觉模组visionseed,我准备先在Ubuntu下试玩visionseed工具来了解这套视觉模组。当然前期准备工作是要做的:...
发表于 09-16 11:29 562次 阅读
Ubuntu下试玩visionseed工具的数据可视化

大话人工智能成功进入测试阶段

大话人工智能成功进入测试阶段 人工智能英文简称为AI,英文全写Artificial Intelligence,中文直译就是人工智能。 人工...
发表于 09-15 12:40 301次 阅读
大话人工智能成功进入测试阶段

国内外人工智能十大芯片怎么样?

2019年属于人工智能爆发的一年,特别是芯片领域,华为一家就推出来四个芯片,芯片可不像软件一样简单复制,也不像普通的线路板一...
发表于 09-11 11:52 285次 阅读
国内外人工智能十大芯片怎么样?