张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

从one-hot、word embedding、rnn、seq2seq、transformer一步步逼近bert

AI科技大本营 2019-07-18 14:10 次阅读

NLP

NLP:自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。而自google在2018年10月底公布BERT在11项nlp任务中的卓越表后,BERT(Bidirectional Encoder Representation from Transformers)就成为NLP一枝独秀,本文将为大家层层剖析bert。

NLP常见的任务主要有: 中文自动分词、句法分析、自动摘要、问答系统、文本分类、指代消解、情感分析等。

我们会从one-hot、word embedding、rnn、seq2seq、transformer一步步逼近bert,这些是我们理解bert的基础。

Word Embedding

首先我们需要对文本进行编码,使之成为计算机可以读懂的语言,在编码时,我们期望句子之间保持词语间的相似行,词的向量表示是进行机器学习深度学习的基础。

word embedding的一个基本思路就是,我们把一个词映射到语义空间的一个点,把一个词映射到低维的稠密空间,这样的映射使得语义上比较相似的词,他在语义空间的距离也比较近,如果两个词的关系不是很接近,那么在语义空间中向量也会比较远。

如上图英语和西班牙语映射到语义空间,语义相同的数字他们在语义空间分布的位置是相同的

在句子的空间结构上我们期望获取更底层的之间的关系比如:

VKing - VQueen = VMan-VWomen

VParis - VFrance = VBerlin -VGerman

king和queen之间的关系相比与man与woman的关系大体应该相同的,那么他们通过矩阵运算,维持住这种关系;Paris 和France之间的关系相比与Berlin与German的关系大体应该相同的,那么他们通过矩阵运算,维持住这种关系。

简单回顾一下word embedding,对于nlp来说,我们输入的是一个个离散的符号,对于神经网络来说,它处理的都是向量或者矩阵。所以第一步,我们需要把一个词编码成向量。最简单的就是one-hot的表示方法。如下图所示:

one-hot encoding编码

通常我们有很多的词,那只在出现的位置显示会,那么势必会存在一些问题

高维的表示

稀疏性

正交性(任意两个词的距离都是1,除了自己和自己,这样就带来一个问题,猫和狗距离是1,猫和石头距离也是1,但我们理解上猫和狗距离应该更近一些)

两个词语义上无法正确表示,我们更希望低维的相似的比较接近,语义相近的词距离比较近,语义不想近的词,距离也比较远。解决的办法就是word enbedding,是一种维位稠密的表示。

Neural Network Language Model(神经网络语言模型)

我们都知道word2vec,glove。其实更早之前的神经网络语言模型里出现。已经有比较早的一个词向量了。语言模型是nlp的一个基本任务,是给定一个句子w,包括k个词,我们需要计算这个句子的概率。使用分解成条件概率乘积的形式。变成条件概率的计算。

传统的方法,统计的n-gram的,词频统计的形式,出现的多,概率就高,出现少概率就低,。

不能常时依赖上下文,如:他出生在法国,他可以讲一口流利的(__),我们希望法语的概率比英语、汉语的概率要高。n-gram记住只能前面有限几个词,若参数比较多,它根本学不到这复杂关系,这是传统语言模型比较大的一个问题。这个可以通过后面的rnn、lstm解决,我们这里先不讨论。

第二个问题就是泛化能力的问题,泛化能力,或者说不能共享上下文的信息,我要去(__)玩, 北京、上海应该是一样的,因为都是中国的一个城市,概率应该相等或相近的,但是因为预料中北京很多,所以出现上海的概率很低。那神经网络语言模型就可以解决这样的问题。

神经网络语言模型架构如上图:

将每个词向量拼接成句子矩阵。每一列都是一个词, 如北京、上海、 天津比较近,大致相同一块区域,所以当预测时,可以给出大概相同的概率,不仅仅与预料中统计结果有关系。矩阵相乘就可以提取出这个词,但是为了提取一个词,我们要进行一次矩阵运算,这个比较低效,所以比较成熟的框架都提供了查表的方法,他的效率更高。

因为上下文环境很相似,会共享类似的context,在问我要去 (__)概率会比较大。这也是神经网络语言模型的一个好处。我们通过神经网络语言模型得到一个词向量。当然我们也可以用其他的任务来做,一样得到词向量,比如句法分析,但是那些任务大部分是有监督的学习,需要大量的标注信息。语言模型是非监督的,资料获取不需要很大的成本。

word2vec和神经网络语言模型不同,直接来学习这个词向量,使用的基本假设是分布式假设,如果两个词的上下文时相似的,那么他们语义也是相似的。

word2vec分为cbow(根据context预测中心词)和skip-gram(根据中心词预测context)两种。

我们可以通过word2vec或者 glove这种模型在大量的未标注的语料上学习,我们可以学习到比较好的向量表示,可以学习到词语之间的一些关系。比如男性和女性的关系距离,时态的关系,学到这种关系之后我们就可以把它作为特征用于后续的任务,从而提高模型的泛化能力。

但是同时存在一些问题比如:

He deposited his money in this bank .

His soldiers were arrayed along the river bank .word embeding 有个问题就是我们的词通常有很多语义的,比如bank是银行还是河岸,具体的意思要取决与上下文,如果我们强行用一个向量来表示语义的话,只能把这两种语义都编码在这个向量里,但实际一个句子中,一个词只有一个语义,那么这种编码是有问题的。

RNN/LSTM/GRU

那么这种上下文的语义可以通过RNN/LSTM/GRU来解决,RNN与普通深度学习不同的是,RNN是一种序列的模型,会有一定的记忆单元,能够记住之前的历史信息,从而可以建模这种上下文相关的一些语义。RNN中的记忆单元可以记住当前词之前的信息。

RR可以解决,理论上我们希望学到很长的关系,但是由于梯度消失的问题,所以长时依赖不能很好的训练。

其实lstm可以解决RNN长时依赖梯度消失的问题。

seq2seq

对于翻译,我们不可能要求英语第一个词一定对应法语的第一个词,不能要求长度一样,对于这样一个rnn不能解决这一问题。我们使用两个rnn拼接成seq2seq来解决。

我们可以用两段RNN组成seq2seq模型

从而可以来做翻译,摘要、问答和对话系统。

比如经典的翻译例子法语到英语的翻译,由encoder编码到语义空间和decoder根据语义空间解码翻译成一个个的英语句子。

encoder把要翻译的句子,映射到了整个语义空间,decoder根据语义空间再逐一翻译出来,但是句子长度有时会截断。有一个问题,我们需要一个固定长度的context向量来编码所有语义,这个是很困难的,要记住每一个细节是不可能的。用一个向量记住整个语义是很困难的。

这时候我们引入了attention机制。

可以理解为context只记住了一个大概的提取信息,一种方法是做内积,内积大就关注大,这里可以理解为一种提取的方式,当提取到相关内容,再与具体的ecoder位置计算,得到更精细的内容。

pay attention 做内积。越大越相近 约重要,后续的attention、transformer都是对seq2seq的一个改进,通过这种可以解决word embbeing没有上下文的一个问题。

加上attention机制,我们就取得了很大的成绩,但是仍然存在一个问题,顺序依赖,如下图:t依赖t-1,t-1依赖t-2,串行的,很难并行的计算,持续的依赖的关系,通常很慢,无法并行:

The animal didn’t cross the street because it was too tired.

The animal didn’t cross the street because it was too narrow.

存在单向信息流的问题,只看前文,我们很难猜测it指代的具体内容,编码的时候我们要看整个句子的上下文,只看前面或者只看后面是不行的。

RNN的两个问题:

1、顺序依赖,t依赖t-1时刻。

2、单向信息流(如例子中指代信息,不能确定)

3、需要一些比较多的监督数据,对于数据获取成本很高的任务,就比较困难,在实际中很难学到复杂的上下文关系

Contextual Word Embedding

要解决RNN的问题,就引入了contextual word embedding。

contextual word embedding:无监督的上下文的表示,这种无监督的学习是考虑上下文的,比如ELMo、OpenAI GPT、BERT都是上下文相关的词的表示方法。

attention是需要两个句子的,我们很多时候只有一个句子,这就需要self-attention。提取信息的时候、编码时self-atenntion是自驱动的,self-attention关注的词的前后整个上下文。

self-attention最早是transformer的一部分。transformer是怎么解决这一问题的?

transformer:

本质也是一个encoder与decoder的过程,最起初时6个encoder与6个decoder堆叠起来,如果是LSTM的话,通常很难训练的很深,不能很好的并行

每一层结构都是相同的,我们拿出一层进行解析,每一层有self-attention和feed-forward,decoder还有普通的attention输入来自encoder,和seq-2seq一样,我在翻译某一个词的时候会考虑到encoder的输出,来做一个普通的attention

如下图例子给定两个词 thinking和machies,首先通过word embedding把它变成向量,通过self-attention,把它变成一个向量,这里的sefl-attention时考虑上下文的。然后再接全连接层,计算z1的时候我要依赖x1 、x2 、x3整个序列的,才能算z1,z2也一样,我算r1的时候时不需要z2的,只要有z1我就可以算r1.只要有z2就能算r2,这个是比较大的一个区别,这样就可以并行计算。

我们来看看self-attention具体是怎么计算的

假设只有两个词,映射成长度只有四的向量,接下来使用三个变换矩阵wq wk wv,分别把每个向量变换成三个向量 q1 k1 v1 q2 k2 v2这里是与设映的向量相乘得到的

得到向量之后就可以进行编码了,考虑上下文,如上文提到的bank同时有多个语义,编码这个词的时候要考虑到其他的词,具体的计算是q1 k1做内积 q2 k2 做内积得到score,内积越大,表示约相似,softmax进行变成概率。花0.88的概率注意Thinking,0.12注意macheins这个词

就可以计算z1了,z1=0.88v1+0.12z2z2的计算也是类似的。

q表示为了编码自己去查询其他的词,k表示被查询,v表示这个词的真正语义,经过变换就变成真正的包含上下文的信息,普通attention可以理解为self-attention的一个特例。

普通attention的对比:

实际中是多个head, 即多个attention(多组qkv),通过训练学习出来的。不同attention关注不同的信息,指代消解 上下位关系,多个head,原始论文中有8个,每个attention得到一个三维的矩阵

将8个3维的拼成24维,信息太多 经过24 *4进行压缩成4维。

位置编码:

北京 到 上海 的机票

上海 到 北京 的机票

self-attention是不考虑位置关系的,两个句子中北京,初始映射是一样的,由于上下文一样,qkv也是一样的,最终得到的向量也是一样的。这样一个句子中调换位置,其实attention的向量是一样的。实际是不一样的,一个是出发城市,一个是到达城市。

引入位置编码,绝对位置编码,每个位置一个 Embedding,每个位置一个embedding,同样句子,多了个词 就又不一样了,编码就又不一样了

北京到上海的机票 vs 你好,我要北京到上海的机票

tranformer原始论文使用相对位置编码,后面的bert open gpt使用的是简单绝对位置编码:

大家可以尝试bert换一下相对位置会不会更好:

transformer中encoder的完整结构,加上了残差连接和layerNorm

decoder加上了普通的attention,最后一刻的输出,会输入。

transformer的decoder不能利用未知的信息,即单向信息流问题。

transformer 解决的问题:

可以并行计算,训练的很深,到后来的open gpt可以到12层 bert的16、24层;单向信息流的问题:至少在encoder的时候考虑前面和后面的信息,所以可以取得很好的效果;transformer解决了普通word embedding 没有上下文的问题,但是解决这个问题,需要大量的标注信息样本。

如何解决transformer的问题,就引入了elmo,elmo:无监督的考虑上下文的学习。

一个个的预测的语言模型:

双向的lstm,每个向量2n,是一种特征提取的方法,考虑的上下文的,编码完,就定住了,

elmo:将上下文当作特征,但是无监督的语料和我们真实的语料还是有区别的,不一定的符合我们特定的任务,是一种双向的特征提取。

openai gpt就做了一个改进,也是通过transformer学习出来一个语言模型,不是固定的,通过任务 finetuning,用transfomer代替elmo的lstm。openai gpt其实就是缺少了encoder的transformer。当然也没了encoder与decoder之间的attention。

openAI gpt虽然可以进行fine-tuning,但是有些特殊任务与pretraining输入有出入,单个句子与两个句子不一致的情况,很难解决,还有就是decoder只能看到前面的信息。

bert

bert从这几方面做了改进:

Masked LM

NSP Multi-task Learning

Encoder again

bert为什么更好呢?

单向信息流的问题 ,只能看前面,不能看后面,其实预料里有后面的信息,只是训练语言模型任务特殊要求只能看后面的信息,这是最大的一个问题;

其次是pretrain 和finetuning 几个句子不匹配。

bert的输入是两个句子,分割符sep,cls表示开始,对输入的两个句子,使用位置编码, segment embeding 根据这个可以知道 该词属于哪个句子,学习会更加简单。可以很清楚知道第一句子需要编码什么信息,第二个句子可以编码什么信息。

单向信息流的问题,换一个任务来处理这个问题

单向信息流问题:mask ml 有点类似与完形填空,根据上下文信息猜其中信息,计算出最大概率,随机丢掉15%的词来bert来进行预测,考虑前后双向的信息,怎么搞两个句子?

-50%概率抽连续句子 正样本1

50%概率抽随机句子 负样本 0

这样学习到两个句子的关系,可以预测句子关系,在一些问答场景下很重要。

finetuning

单个句子的任务,我们拿第一个cls向量,上面接一些全连接层,做一个分类,标注的数据 fine-tuningbert参数也包括全连接的一个参数,为什么选择第一个?

bert任务还是预测这个词,预测的时候会参考其他的词,如eat本身还是吃的语义,直接根据eat去分类,显然是不可以的,cls没有太多其他词的语义,所以它的语义完全来自其他的语义 来自整个句子,编码了整个句子的语义,用它做可以,当然也可以得出所有结果进行拼接后,再来进行预测。

注意:

使用中文模型,不要使用多语言模型

max_seq_length 可以小一点,提高效率

内存不够,需要调整 train_batch_size

有足够多的领域数据,可以尝试 Pretraining

bert的实际应用比较简单,不过多赘述内容,推荐简单的demo样例:

https://www.jianshu.com/p/3d0bb34c488a

原文标题:从One-hot, Word embedding到Transformer,一步步教你理解Bert

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

人工智能的高效性引领传统营销的改革

人工智能不仅仅在军事和生活上带来突破性的改变,在商业方面,人工智能在企业营销领域的应用也逐渐地在扩大....
发表于 08-22 10:15 0次 阅读
人工智能的高效性引领传统营销的改革

人工智能正在兴起新一轮的产业变革

我国作为全球人工智能领域赛道的领跑者,大力发展人工智能技术的目的,并不仅仅是为增强军事严防的力量,更....
发表于 08-22 10:09 2次 阅读
人工智能正在兴起新一轮的产业变革

人工智能的进步所带来的创新式发展

新一代人工智能正在全球范围蓬勃发展,推动世界从互联信息时代进入智能信息时代,给人们的生产生活方式带来....
发表于 08-22 10:03 2次 阅读
人工智能的进步所带来的创新式发展

5G让人工智能反应更迅速

当5G遇上人工智能是何场景?三星为你描绘未来蓝图!
的头像 陈翠 发表于 08-21 17:48 497次 阅读
5G让人工智能反应更迅速

机器视觉系统培训的详细资料合集免费下载

机器视觉系统是指利用机器替代人眼做出各种测量和判断。机器视觉是工程领域和科学领域中的一个非常重要的研....
发表于 08-21 17:09 16次 阅读
机器视觉系统培训的详细资料合集免费下载

人工智能将在新零售行业中发挥作用

如今,零售行业不断发展,数字化的商品信息、高效的仓储和物流,从产品的生产到配送,正形成一个完整的智慧....
发表于 08-21 16:25 20次 阅读
人工智能将在新零售行业中发挥作用

人工智能的商业化才是AI数据真正的突破点

在数字经济下,人工智能作为第四次产业变革的引擎,已逐渐渗透到各行业中,为人类社会和经济发展带来变革。
发表于 08-21 16:21 25次 阅读
人工智能的商业化才是AI数据真正的突破点

Facebook将拟用人工智能进行新闻编辑

据外媒报道,长期以来,Facebook始终依赖于算法来为用户选择想要看的新闻。现在,这家社交网络巨头....
发表于 08-21 16:11 44次 阅读
Facebook将拟用人工智能进行新闻编辑

奇信智能公司携物联网机器人“奇信小π”亮相华为云人工智能高峰论坛

在此次的活动中,汇聚了众多人工智能领域优秀企业,华为生态伙伴之一——奇信智能公司携物联网机器人“奇信....
的头像 倩倩 发表于 08-21 15:32 161次 阅读
奇信智能公司携物联网机器人“奇信小π”亮相华为云人工智能高峰论坛

物联网技术是如何支持预测性维护来实现提高产品质量的

如今,有大量不同的状态监控技术可用于实时跟踪资产健康状况。这意味着您可以非常清楚地看到机器何时处于峰....
发表于 08-21 15:14 31次 阅读
物联网技术是如何支持预测性维护来实现提高产品质量的

为什么劣质数据不会减少推迟物联网计划的原因

理论上听起来都很棒。然而,许多组织正在努力冒险。早在2016年,思科副总裁Maciej Kranz发....
的头像 倩倩 发表于 08-21 15:10 57次 阅读
为什么劣质数据不会减少推迟物联网计划的原因

2019年内蒙古物联网与人工智能峰会在呼和浩特召开

内蒙古自治区科技厅厅长孙俊青在致辞时说,随着5G时代的到来,物联网和人工智能技术将进一步改变我们的生....
的头像 倩倩 发表于 08-21 15:03 152次 阅读
2019年内蒙古物联网与人工智能峰会在呼和浩特召开

2019年“创客中国”物联网应用中小企业创新创业大赛暨颁奖仪式

比赛分为企业组和创客组,最终征集项目188个,其中企业组114个、创客组74个,涵盖“传感器、芯片、....
的头像 倩倩 发表于 08-21 14:36 139次 阅读
2019年“创客中国”物联网应用中小企业创新创业大赛暨颁奖仪式

博为峰致力于将物联网技术和人工智能技术应用于卫浴设备上

智能卫浴设备的质量检测涉及到IOT芯片、人工智能算法、设备交互、人物交互、物物交互、云端控制等多种新....
的头像 倩倩 发表于 08-21 14:33 148次 阅读
博为峰致力于将物联网技术和人工智能技术应用于卫浴设备上

斯塔西奥加入了微软的人工智能(AI)部门

斯塔西奥于2012年加入苹果公司,成为Siri团队的一员,他在该公司工作了7年多,于今年5月份离开了....
的头像 倩倩 发表于 08-21 14:23 263次 阅读
斯塔西奥加入了微软的人工智能(AI)部门

英特尔公司公布了其最新的处理器

英特尔表示,该芯片由位于以色列海法的开发工厂开发,名为Nervana NNP-I或Springhil....
的头像 倩倩 发表于 08-21 14:19 153次 阅读
英特尔公司公布了其最新的处理器

Vicor将在开放式数据中心委员会峰会上展示其最新48V电源模块创新技术

ODCC 峰会是中国主要的数据中心盛会,将领先的云计算及高性能计算专家齐聚一堂,共同讨论高级先进技术....
发表于 08-21 11:41 68次 阅读
Vicor将在开放式数据中心委员会峰会上展示其最新48V电源模块创新技术

《新一代人工智能行业自律公约》全文

作为重要参与成员单位,Testin云测持续发力人工智能行业,旗下AI数据服务品牌——云测数据,通过自....
的头像 倩倩 发表于 08-21 11:39 167次 阅读
《新一代人工智能行业自律公约》全文

云计算与人工智能的关系会越来越密切

人工智能的发展需要三个重要的基础,分别是数据、算力和算法,而云计算是提供算力的重要途径,所以云计算可....
的头像 倩倩 发表于 08-21 11:37 223次 阅读
云计算与人工智能的关系会越来越密切

AI创业公司“H20.ai”获7250万美元投资,高盛与平安领投

H2O.ai 是一个开源机器学习平台,主要服务于数据科学家和开发者,为其应用提供快速机器学习引擎。人....
的头像 行业投资 发表于 08-21 11:35 345次 阅读
AI创业公司“H20.ai”获7250万美元投资,高盛与平安领投

现有刑法是否能够完全规制人工智能犯罪?

在学校上课时,这位明星法学教授总喜欢从提问开始、启发学生思考。在今天的讲座现场,刘宪权的讲述同样是从....
的头像 倩倩 发表于 08-21 11:33 151次 阅读
现有刑法是否能够完全规制人工智能犯罪?

安徽人工智能产业如何打造?多位省政协委员给出答案

省政协委员,合肥市政协主席韩冰认为,我省人工智能产业发展是由智能语音、机器人等单点技术带动,由此造成....
的头像 倩倩 发表于 08-21 11:27 239次 阅读
安徽人工智能产业如何打造?多位省政协委员给出答案

世界人工智能大会的最高荣誉“SAIL奖”全球品牌推广宣布启动

据了解,论坛主办单位普陀区近年来积极抓住人工智能产业发展的重大契机,不断推进和布局人工智能产业。积极....
的头像 倩倩 发表于 08-21 11:24 123次 阅读
世界人工智能大会的最高荣誉“SAIL奖”全球品牌推广宣布启动

“湾区智谷人工智能孵化器”揭牌仪式在龙华区智慧谷创新园举行

具体机构方面,最高收益为31.73%,由幻方量化旗下相关产品取得,明汯投资以28.10%的收益率位居....
的头像 倩倩 发表于 08-21 11:17 139次 阅读
“湾区智谷人工智能孵化器”揭牌仪式在龙华区智慧谷创新园举行

人工智能与台风——感知、救援、预防

在人工智能问世之前,救援人员通过查看灾区的空中红外成像来寻找被困人员。但是从无人机上筛选照片和视频需....
的头像 倩倩 发表于 08-21 11:14 68次 阅读
人工智能与台风——感知、救援、预防

知识图谱成为人工智能(AI)领域备受关注的重要一环

近年来,人工智能已经从各个方面开始改变我们的生活,语音识别、语音合成、计算机视觉等感知技术方兴未艾,....
的头像 倩倩 发表于 08-21 11:07 286次 阅读
知识图谱成为人工智能(AI)领域备受关注的重要一环

创造人工智能的初心只是为了辅佐人类

谷歌公司开发的人工智能Duplex,号称能够帮助用户打电话预定餐厅、发廊,今年5月也被曝出大量使用人....
发表于 08-21 10:30 19次 阅读
创造人工智能的初心只是为了辅佐人类

人工智能的智能程度能发展到什么地步

一直以来大家都在讨论人工智能的话题,我们好像总是担心未来人工智能会喧宾夺主,所以我们每次看着新闻报道....
发表于 08-21 10:28 19次 阅读
人工智能的智能程度能发展到什么地步

人工智能将会是这个时代最强大的力量

由于图形和人工智能芯片的需求在第二财季有所回升,Nvidia 财报公布的盈利和收入超出分析师预期。
发表于 08-21 10:24 140次 阅读
人工智能将会是这个时代最强大的力量

这家“老牌”科技公司,能快速地使用AI与全球产业趋势结合

从个人计算机时代开始,当人们开始讨论技术、科技时,微软便是所有人都无法绕开的公司。进入到人工智能时代....
的头像 LiveVideoStack 发表于 08-21 10:08 66次 阅读
这家“老牌”科技公司,能快速地使用AI与全球产业趋势结合

该如何看到目前机器人的各种表现

人类是一个非常聪明的物种,虽然我们的个体力量并不强大,但是我们懂得学会创造科技,利用科技的力量来延伸....
发表于 08-21 09:59 25次 阅读
该如何看到目前机器人的各种表现

5G技术的落地,这些新技术,是否能让共享单车不再“横七竖八”?

“您本次骑行未规范停车,多次违规将收取调度费。文明停车,从我做起。”在上海莘庄地铁站北广场附近,解放....
的头像 Midifan 发表于 08-21 09:14 200次 阅读
5G技术的落地,这些新技术,是否能让共享单车不再“横七竖八”?

2019我国机器人市场规模及趋势预测

我国是工业机器人应用大国,行业迅猛发展,产量持续增长。2015年产量仅32996台。2017年突破1....
的头像 墨记 发表于 08-21 08:28 1113次 阅读
2019我国机器人市场规模及趋势预测

人工智能改变的下一个世界是什么样的

自计算机发明之后,人类一直在寻找“下一件改变世界的大事”。虽然当下大多数人使用的手机都比最早问世的超....
发表于 08-20 15:56 63次 阅读
人工智能改变的下一个世界是什么样的

在未来人工智能与人类将如何合作

从语音助手、刷脸识别到智能家居,人们享受着人工智能的便利与高效;“未来AI是不是要抢我的饭碗?”“A....
发表于 08-20 15:53 189次 阅读
在未来人工智能与人类将如何合作

为什么说人工智能的发展比5G更重要

2019年,带有人工智能技术硬件加速器(特别是神经网络)的特定微型计算机得到普遍使用。所有关键的硬件....
发表于 08-20 15:49 158次 阅读
为什么说人工智能的发展比5G更重要

大数据、人工智能催生物联网数字价值

在数字经济时代,数据是重要的生产要素,物联网则成为数据的主要来源。然而,目前只有较少的人或企业生成、....
的头像 倩倩 发表于 08-20 15:40 229次 阅读
大数据、人工智能催生物联网数字价值

国际工业与能源物联网创新发展大会新闻通气会在温州市举办

大会拟深入探讨交流国际物联网技术与工业能源深度融合的前沿动态与发展趋势,展示全球特别是温州推动企业运....
的头像 倩倩 发表于 08-20 15:37 186次 阅读
国际工业与能源物联网创新发展大会新闻通气会在温州市举办

智慧警务市场规模,应用分布、案例简述及发展趋势

随着社会经济发展与城市化进程的加快,中国社会维稳压力日益增加,然而警力资源的增长速度远不及潜在危险因....
的头像 GaN世界 发表于 08-20 15:34 96次 阅读
智慧警务市场规模,应用分布、案例简述及发展趋势

反馈循环对于自动化至关重要,但可能被证明是AI的致命弱点

反馈是所有自动控制机器方法的技术核心。美国数学家诺伯特·维纳(Norbert Wiener)在20世....
的头像 倩倩 发表于 08-20 15:27 69次 阅读
反馈循环对于自动化至关重要,但可能被证明是AI的致命弱点

摩尔定律濒临失效,IC产业调整步伐向AI“求解”

在大会上,Cadence公司总裁Anirudh Devgan先生首先提出了“smart by des....
的头像 倩倩 发表于 08-20 15:24 213次 阅读
摩尔定律濒临失效,IC产业调整步伐向AI“求解”

几个领域将会率先实现人工智能技术的落地应用

车联网。车联网领域被认为是当前人工智能技术的一个重要突破口,以自动驾驶为代表的车联网相关技术将在很大....
的头像 倩倩 发表于 08-20 15:21 94次 阅读
几个领域将会率先实现人工智能技术的落地应用

一个日本的人工智能替代公务员的实例

即将达到入学季,最近热门的话题是幼儿园的录取问题,夫妻双方的工作都很忙,报名时间需要花费很多的时间,....
的头像 倩倩 发表于 08-20 15:17 180次 阅读
一个日本的人工智能替代公务员的实例

人工智能内容创作和生产经由第七代微软小冰“迈进”现实

这些虚拟人物可与读者和观众进行实时交互,我们把这一过程叫做‘赋生’。”微软全球资深副总裁,微软(亚洲....
的头像 倩倩 发表于 08-20 15:13 212次 阅读
人工智能内容创作和生产经由第七代微软小冰“迈进”现实

中科凯泽:创新创造价值,人工智能技术赋能实业

目前,公司主打人脸识别技术平台产品,包括人脸闸机、识别门禁、识别锁、客流量统计分析仪、智慧工地和背包....
的头像 倩倩 发表于 08-20 15:09 70次 阅读
中科凯泽:创新创造价值,人工智能技术赋能实业

英国财政大臣拨款7500万英镑用于人工智能研究和开发

剑桥的微软研究院大约20年来一直在研究人工智能,机器学习和深度学习。他们的工作已经进入各种产品和服务....
的头像 倩倩 发表于 08-20 15:08 77次 阅读
英国财政大臣拨款7500万英镑用于人工智能研究和开发

构建高质量数据集,推动人工智能快速发展

当前人工智能还面临诸多挑战,例如数据孤岛问题、隐私保护问题、安全问题等瓶颈。一项2018年的研究显示....
的头像 倩倩 发表于 08-20 15:04 271次 阅读
构建高质量数据集,推动人工智能快速发展

全球正在兴起新一轮科技革命和产业变革

要大力推动AI赋能文化产业创新发展。借鉴英国产业转型升级的成功经验,结合北京文化产业发展的实际情况,....
的头像 倩倩 发表于 08-20 15:00 100次 阅读
全球正在兴起新一轮科技革命和产业变革

人工智能的“无间道”还将长时间上演?

从街头巷尾刷脸支付的无人售货机,到公共场所的安防监控,甚至是影视制作、国防事业,人工智能正深刻地改变....
的头像 倩倩 发表于 08-20 14:55 251次 阅读
人工智能的“无间道”还将长时间上演?

机器学习的图像压缩应用

DIY图像压缩——机器学习实战之K-means 聚类图像压缩:色彩量化...
发表于 08-19 07:07 37次 阅读
机器学习的图像压缩应用

Firefly集群服务器解决方案

方案背景 移动互联应用的快速发展和云计算、大数据应用的拓展和深化,数据中心已由传统的大型机、小型机逐步转移到x86服务器,...
发表于 08-16 15:09 309次 阅读
Firefly集群服务器解决方案

机器学习经验总结

面试经验(机器学习)
发表于 08-16 14:20 52次 阅读
机器学习经验总结

机器人的自主决策可靠吗?机器视觉在智能领域占据什么地位?

工业视觉中,机器人视觉领域在技术和商用程度上均有较好的表现。本文从机器人视觉的市场需求、技术原理以及发展趋势三个层面,深...
发表于 08-16 04:00 144次 阅读
机器人的自主决策可靠吗?机器视觉在智能领域占据什么地位?

RPA是企业在人工智能时代抢占先机的关键

2019年,RPA突然间就火了... UiPath在2019年5月宣布获得5.8亿美元融资,估值70亿美元,成为国际AI领域估值最高的企业之一...
发表于 08-15 15:01 392次 阅读
RPA是企业在人工智能时代抢占先机的关键

构建机器学习产品必需的数学背景

必读  我们该如何学习机器学习中的数学...
发表于 08-15 11:44 42次 阅读
构建机器学习产品必需的数学背景

人工智能和机器学习怎么应用于医学?

经美国食品药品监督管理局(FDA)批准后,第一批可穿戴式数字健康监测仪目前刚刚上市,并集成在诸如智能手表之类的消费产品中。...
发表于 08-13 07:22 32次 阅读
人工智能和机器学习怎么应用于医学?

人工智能后续以什么形式发展?

从2014年开始,人工智能逐渐成为科技领域最热门的概念,被科技界,企业界和媒体广泛关注。作为一个学术领域,人工智能是在1956年...
发表于 08-12 07:53 144次 阅读
人工智能后续以什么形式发展?

AI在智能手机有什么玩法?

下一波新体验将源自支持智能手机中 AI 新使用情形的应用,其中包括语言处理、人类活动预测和增强型数据加密等。...
发表于 08-12 06:35 158次 阅读
AI在智能手机有什么玩法?