发烧友10周年庆典,全网超值优惠来袭!千元现金券,下单抽奖赶紧参与》》

从one-hot、word embedding、rnn、seq2seq、transformer一步步逼近bert

AI科技大本营 2019-07-18 14:10 次阅读

NLP

NLP:自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。而自google在2018年10月底公布BERT在11项nlp任务中的卓越表后,BERT(Bidirectional Encoder Representation from Transformers)就成为NLP一枝独秀,本文将为大家层层剖析bert。

NLP常见的任务主要有: 中文自动分词、句法分析、自动摘要、问答系统、文本分类、指代消解、情感分析等。

我们会从one-hot、word embedding、rnn、seq2seq、transformer一步步逼近bert,这些是我们理解bert的基础。

Word Embedding

首先我们需要对文本进行编码,使之成为计算机可以读懂的语言,在编码时,我们期望句子之间保持词语间的相似行,词的向量表示是进行机器学习深度学习的基础。

word embedding的一个基本思路就是,我们把一个词映射到语义空间的一个点,把一个词映射到低维的稠密空间,这样的映射使得语义上比较相似的词,他在语义空间的距离也比较近,如果两个词的关系不是很接近,那么在语义空间中向量也会比较远。

如上图英语和西班牙语映射到语义空间,语义相同的数字他们在语义空间分布的位置是相同的

在句子的空间结构上我们期望获取更底层的之间的关系比如:

VKing - VQueen = VMan-VWomen

VParis - VFrance = VBerlin -VGerman

king和queen之间的关系相比与man与woman的关系大体应该相同的,那么他们通过矩阵运算,维持住这种关系;Paris 和France之间的关系相比与Berlin与German的关系大体应该相同的,那么他们通过矩阵运算,维持住这种关系。

简单回顾一下word embedding,对于nlp来说,我们输入的是一个个离散的符号,对于神经网络来说,它处理的都是向量或者矩阵。所以第一步,我们需要把一个词编码成向量。最简单的就是one-hot的表示方法。如下图所示:

one-hot encoding编码

通常我们有很多的词,那只在出现的位置显示会,那么势必会存在一些问题

高维的表示

稀疏性

正交性(任意两个词的距离都是1,除了自己和自己,这样就带来一个问题,猫和狗距离是1,猫和石头距离也是1,但我们理解上猫和狗距离应该更近一些)

两个词语义上无法正确表示,我们更希望低维的相似的比较接近,语义相近的词距离比较近,语义不想近的词,距离也比较远。解决的办法就是word enbedding,是一种维位稠密的表示。

Neural Network Language Model(神经网络语言模型)

我们都知道word2vec,glove。其实更早之前的神经网络语言模型里出现。已经有比较早的一个词向量了。语言模型是nlp的一个基本任务,是给定一个句子w,包括k个词,我们需要计算这个句子的概率。使用分解成条件概率乘积的形式。变成条件概率的计算。

传统的方法,统计的n-gram的,词频统计的形式,出现的多,概率就高,出现少概率就低,。

不能常时依赖上下文,如:他出生在法国,他可以讲一口流利的(__),我们希望法语的概率比英语、汉语的概率要高。n-gram记住只能前面有限几个词,若参数比较多,它根本学不到这复杂关系,这是传统语言模型比较大的一个问题。这个可以通过后面的rnn、lstm解决,我们这里先不讨论。

第二个问题就是泛化能力的问题,泛化能力,或者说不能共享上下文的信息,我要去(__)玩, 北京、上海应该是一样的,因为都是中国的一个城市,概率应该相等或相近的,但是因为预料中北京很多,所以出现上海的概率很低。那神经网络语言模型就可以解决这样的问题。

神经网络语言模型架构如上图:

将每个词向量拼接成句子矩阵。每一列都是一个词, 如北京、上海、 天津比较近,大致相同一块区域,所以当预测时,可以给出大概相同的概率,不仅仅与预料中统计结果有关系。矩阵相乘就可以提取出这个词,但是为了提取一个词,我们要进行一次矩阵运算,这个比较低效,所以比较成熟的框架都提供了查表的方法,他的效率更高。

因为上下文环境很相似,会共享类似的context,在问我要去 (__)概率会比较大。这也是神经网络语言模型的一个好处。我们通过神经网络语言模型得到一个词向量。当然我们也可以用其他的任务来做,一样得到词向量,比如句法分析,但是那些任务大部分是有监督的学习,需要大量的标注信息。语言模型是非监督的,资料获取不需要很大的成本。

word2vec和神经网络语言模型不同,直接来学习这个词向量,使用的基本假设是分布式假设,如果两个词的上下文时相似的,那么他们语义也是相似的。

word2vec分为cbow(根据context预测中心词)和skip-gram(根据中心词预测context)两种。

我们可以通过word2vec或者 glove这种模型在大量的未标注的语料上学习,我们可以学习到比较好的向量表示,可以学习到词语之间的一些关系。比如男性和女性的关系距离,时态的关系,学到这种关系之后我们就可以把它作为特征用于后续的任务,从而提高模型的泛化能力。

但是同时存在一些问题比如:

He deposited his money in this bank .

His soldiers were arrayed along the river bank .word embeding 有个问题就是我们的词通常有很多语义的,比如bank是银行还是河岸,具体的意思要取决与上下文,如果我们强行用一个向量来表示语义的话,只能把这两种语义都编码在这个向量里,但实际一个句子中,一个词只有一个语义,那么这种编码是有问题的。

RNN/LSTM/GRU

那么这种上下文的语义可以通过RNN/LSTM/GRU来解决,RNN与普通深度学习不同的是,RNN是一种序列的模型,会有一定的记忆单元,能够记住之前的历史信息,从而可以建模这种上下文相关的一些语义。RNN中的记忆单元可以记住当前词之前的信息。

RR可以解决,理论上我们希望学到很长的关系,但是由于梯度消失的问题,所以长时依赖不能很好的训练。

其实lstm可以解决RNN长时依赖梯度消失的问题。

seq2seq

对于翻译,我们不可能要求英语第一个词一定对应法语的第一个词,不能要求长度一样,对于这样一个rnn不能解决这一问题。我们使用两个rnn拼接成seq2seq来解决。

我们可以用两段RNN组成seq2seq模型

从而可以来做翻译,摘要、问答和对话系统。

比如经典的翻译例子法语到英语的翻译,由encoder编码到语义空间和decoder根据语义空间解码翻译成一个个的英语句子。

encoder把要翻译的句子,映射到了整个语义空间,decoder根据语义空间再逐一翻译出来,但是句子长度有时会截断。有一个问题,我们需要一个固定长度的context向量来编码所有语义,这个是很困难的,要记住每一个细节是不可能的。用一个向量记住整个语义是很困难的。

这时候我们引入了attention机制。

可以理解为context只记住了一个大概的提取信息,一种方法是做内积,内积大就关注大,这里可以理解为一种提取的方式,当提取到相关内容,再与具体的ecoder位置计算,得到更精细的内容。

pay attention 做内积。越大越相近 约重要,后续的attention、transformer都是对seq2seq的一个改进,通过这种可以解决word embbeing没有上下文的一个问题。

加上attention机制,我们就取得了很大的成绩,但是仍然存在一个问题,顺序依赖,如下图:t依赖t-1,t-1依赖t-2,串行的,很难并行的计算,持续的依赖的关系,通常很慢,无法并行:

The animal didn’t cross the street because it was too tired.

The animal didn’t cross the street because it was too narrow.

存在单向信息流的问题,只看前文,我们很难猜测it指代的具体内容,编码的时候我们要看整个句子的上下文,只看前面或者只看后面是不行的。

RNN的两个问题:

1、顺序依赖,t依赖t-1时刻。

2、单向信息流(如例子中指代信息,不能确定)

3、需要一些比较多的监督数据,对于数据获取成本很高的任务,就比较困难,在实际中很难学到复杂的上下文关系

Contextual Word Embedding

要解决RNN的问题,就引入了contextual word embedding。

contextual word embedding:无监督的上下文的表示,这种无监督的学习是考虑上下文的,比如ELMo、OpenAI GPT、BERT都是上下文相关的词的表示方法。

attention是需要两个句子的,我们很多时候只有一个句子,这就需要self-attention。提取信息的时候、编码时self-atenntion是自驱动的,self-attention关注的词的前后整个上下文。

self-attention最早是transformer的一部分。transformer是怎么解决这一问题的?

transformer:

本质也是一个encoder与decoder的过程,最起初时6个encoder与6个decoder堆叠起来,如果是LSTM的话,通常很难训练的很深,不能很好的并行

每一层结构都是相同的,我们拿出一层进行解析,每一层有self-attention和feed-forward,decoder还有普通的attention输入来自encoder,和seq-2seq一样,我在翻译某一个词的时候会考虑到encoder的输出,来做一个普通的attention

如下图例子给定两个词 thinking和machies,首先通过word embedding把它变成向量,通过self-attention,把它变成一个向量,这里的sefl-attention时考虑上下文的。然后再接全连接层,计算z1的时候我要依赖x1 、x2 、x3整个序列的,才能算z1,z2也一样,我算r1的时候时不需要z2的,只要有z1我就可以算r1.只要有z2就能算r2,这个是比较大的一个区别,这样就可以并行计算。

我们来看看self-attention具体是怎么计算的

假设只有两个词,映射成长度只有四的向量,接下来使用三个变换矩阵wq wk wv,分别把每个向量变换成三个向量 q1 k1 v1 q2 k2 v2这里是与设映的向量相乘得到的

得到向量之后就可以进行编码了,考虑上下文,如上文提到的bank同时有多个语义,编码这个词的时候要考虑到其他的词,具体的计算是q1 k1做内积 q2 k2 做内积得到score,内积越大,表示约相似,softmax进行变成概率。花0.88的概率注意Thinking,0.12注意macheins这个词

就可以计算z1了,z1=0.88v1+0.12z2z2的计算也是类似的。

q表示为了编码自己去查询其他的词,k表示被查询,v表示这个词的真正语义,经过变换就变成真正的包含上下文的信息,普通attention可以理解为self-attention的一个特例。

普通attention的对比:

实际中是多个head, 即多个attention(多组qkv),通过训练学习出来的。不同attention关注不同的信息,指代消解 上下位关系,多个head,原始论文中有8个,每个attention得到一个三维的矩阵

将8个3维的拼成24维,信息太多 经过24 *4进行压缩成4维。

位置编码:

北京 到 上海 的机票

上海 到 北京 的机票

self-attention是不考虑位置关系的,两个句子中北京,初始映射是一样的,由于上下文一样,qkv也是一样的,最终得到的向量也是一样的。这样一个句子中调换位置,其实attention的向量是一样的。实际是不一样的,一个是出发城市,一个是到达城市。

引入位置编码,绝对位置编码,每个位置一个 Embedding,每个位置一个embedding,同样句子,多了个词 就又不一样了,编码就又不一样了

北京到上海的机票 vs 你好,我要北京到上海的机票

tranformer原始论文使用相对位置编码,后面的bert open gpt使用的是简单绝对位置编码:

大家可以尝试bert换一下相对位置会不会更好:

transformer中encoder的完整结构,加上了残差连接和layerNorm

decoder加上了普通的attention,最后一刻的输出,会输入。

transformer的decoder不能利用未知的信息,即单向信息流问题。

transformer 解决的问题:

可以并行计算,训练的很深,到后来的open gpt可以到12层 bert的16、24层;单向信息流的问题:至少在encoder的时候考虑前面和后面的信息,所以可以取得很好的效果;transformer解决了普通word embedding 没有上下文的问题,但是解决这个问题,需要大量的标注信息样本。

如何解决transformer的问题,就引入了elmo,elmo:无监督的考虑上下文的学习。

一个个的预测的语言模型:

双向的lstm,每个向量2n,是一种特征提取的方法,考虑的上下文的,编码完,就定住了,

elmo:将上下文当作特征,但是无监督的语料和我们真实的语料还是有区别的,不一定的符合我们特定的任务,是一种双向的特征提取。

openai gpt就做了一个改进,也是通过transformer学习出来一个语言模型,不是固定的,通过任务 finetuning,用transfomer代替elmo的lstm。openai gpt其实就是缺少了encoder的transformer。当然也没了encoder与decoder之间的attention。

openAI gpt虽然可以进行fine-tuning,但是有些特殊任务与pretraining输入有出入,单个句子与两个句子不一致的情况,很难解决,还有就是decoder只能看到前面的信息。

bert

bert从这几方面做了改进:

Masked LM

NSP Multi-task Learning

Encoder again

bert为什么更好呢?

单向信息流的问题 ,只能看前面,不能看后面,其实预料里有后面的信息,只是训练语言模型任务特殊要求只能看后面的信息,这是最大的一个问题;

其次是pretrain 和finetuning 几个句子不匹配。

bert的输入是两个句子,分割符sep,cls表示开始,对输入的两个句子,使用位置编码, segment embeding 根据这个可以知道 该词属于哪个句子,学习会更加简单。可以很清楚知道第一句子需要编码什么信息,第二个句子可以编码什么信息。

单向信息流的问题,换一个任务来处理这个问题

单向信息流问题:mask ml 有点类似与完形填空,根据上下文信息猜其中信息,计算出最大概率,随机丢掉15%的词来bert来进行预测,考虑前后双向的信息,怎么搞两个句子?

-50%概率抽连续句子 正样本1

50%概率抽随机句子 负样本 0

这样学习到两个句子的关系,可以预测句子关系,在一些问答场景下很重要。

finetuning

单个句子的任务,我们拿第一个cls向量,上面接一些全连接层,做一个分类,标注的数据 fine-tuningbert参数也包括全连接的一个参数,为什么选择第一个?

bert任务还是预测这个词,预测的时候会参考其他的词,如eat本身还是吃的语义,直接根据eat去分类,显然是不可以的,cls没有太多其他词的语义,所以它的语义完全来自其他的语义 来自整个句子,编码了整个句子的语义,用它做可以,当然也可以得出所有结果进行拼接后,再来进行预测。

注意:

使用中文模型,不要使用多语言模型

max_seq_length 可以小一点,提高效率

内存不够,需要调整 train_batch_size

有足够多的领域数据,可以尝试 Pretraining

bert的实际应用比较简单,不过多赘述内容,推荐简单的demo样例:

https://www.jianshu.com/p/3d0bb34c488a

原文标题:从One-hot, Word embedding到Transformer,一步步教你理解Bert

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

物联网平台的未来会是怎样的

物联网正以前所未有的速度发展,可以给企业提供新的机遇,并在相当长的一段时间内持续增长。
发表于 10-14 17:52 0次 阅读
物联网平台的未来会是怎样的

人工智能只有统计学吗

人工智能并未朝着我们期望的方向发展,而是更多地走向了统计学的范畴。
发表于 10-14 17:39 4次 阅读
人工智能只有统计学吗

边缘的地理情报如何利用人工智能来掌握

人工智能可以帮助增强地理空间情报任务分配和收集能力,即使在恶劣的环境中也能如此。
发表于 10-14 17:34 4次 阅读
边缘的地理情报如何利用人工智能来掌握

怎样可以将人工智能技术融入到生产和物流中去

利用人工智能技术检测质量缺陷、提高质量及业务效率,使用范围将扩大至国际市场。
发表于 10-14 17:20 23次 阅读
怎样可以将人工智能技术融入到生产和物流中去

自动化灌溉控制系统的问题使用电子技术的解决措施说明

自动化灌溉控制系统自 20 世纪 80 年代开始在美国、以色列等国家得到研究和应用,由于技术复杂、应....
发表于 10-14 16:10 7次 阅读
自动化灌溉控制系统的问题使用电子技术的解决措施说明

人工智能怎样促进高质量发展

人工智能大热,而以人脸识别为代表的计算机视觉技术可谓是人工智能应用最具代表性的一项,新兴人脸识别企业....
发表于 10-14 16:08 13次 阅读
人工智能怎样促进高质量发展

AI武器会怎样改变战争的形式

无人机加入战争意味着,AI深度加入战争的时代已经来临,且将导致重大的伤害和全面的战争升级,AI不介入....
发表于 10-14 16:04 9次 阅读
AI武器会怎样改变战争的形式

在未来AI视频的市场应用将非常广泛

商汤科技与日本最大海运公司商船三井株式会社(MOL)达成了合作,共同开发新型船舶影像识别和记录系统,....
发表于 10-14 15:24 11次 阅读
在未来AI视频的市场应用将非常广泛

人工智能时代的到来你准备好了吗

近年来,刷脸支付、无人驾驶汽车、智能机器人等人工智能应用产品走入大众视野,从日臻完善的智慧小镇到万万....
发表于 10-14 15:19 22次 阅读
人工智能时代的到来你准备好了吗

AI的前景还有多大

随着自动驾驶、生物识别、智能机器人等的快速发展和应用,AI的概念早已变得日渐清晰。
发表于 10-14 15:11 21次 阅读
AI的前景还有多大

Oral-B推出人工智能牙刷GENIUS X,近日在日本发布上市销售

为了口腔清洁,我们每天都要刷牙,但即便是用了电动牙刷,有时候也未必能将口腔完全彻底的清洁干净,总有遗....
的头像 牵手一起梦 发表于 10-14 14:34 98次 阅读
Oral-B推出人工智能牙刷GENIUS X,近日在日本发布上市销售

机器视觉领域有什么新的突破

致力于通过创新研究,使机器具有感知和理解周围世界的能力,并最终实现商业价值。
发表于 10-14 14:29 18次 阅读
机器视觉领域有什么新的突破

人工智能军备赛道将会怎样开启

AI是一个广义且模糊的术语,涵盖了从1950年代最初的规则遵循系统到现代的基于概率的机器学习(计算机....
发表于 10-14 14:23 99次 阅读
人工智能军备赛道将会怎样开启

未来的人工智能在出行方面会怎样影响

用人工智能和大数据解决交通出行问题,让城市更畅通,让每位乘客的出行体验更便捷、更舒心、更安全,让每位....
发表于 10-14 14:18 19次 阅读
未来的人工智能在出行方面会怎样影响

人工智能可以完完全全代替掉人工服务吗

目前5G技术主要是解决客户不愿意到网点来,但是又要跟“专家”面对面的问题,江苏银行率先运用5G技术推....
发表于 10-14 14:13 18次 阅读
人工智能可以完完全全代替掉人工服务吗

人工智能和大数据之间有什么关联

人工智能是为大数据而生的,也以大数据为前提,如果没有大数据,人工智能就是无源之水、无本之木。
发表于 10-14 14:04 53次 阅读
人工智能和大数据之间有什么关联

AI时代数据价值和隐私之间怎样平衡

基于深度学习算法的AI技术的诞生,让信息时代海量信息与数据第一次完整的为人带来巨大的价值,由此开启人....
发表于 10-14 11:50 31次 阅读
AI时代数据价值和隐私之间怎样平衡

国产嵌入式发展的思考

嵌入式操作系统和 IoT OS 将向大型复杂和可配置、更小更安全和硬化两个方向发展,以适应物联网和人....
发表于 10-14 11:37 28次 阅读
国产嵌入式发展的思考

以后的物联网会有怎样的蜕变

今物联网发展迅速,未来人们的日常需求将依赖于物联网
发表于 10-14 11:27 24次 阅读
以后的物联网会有怎样的蜕变

人工智能在出行领域有什么新成就

随着人工智能技术应用落地的成果日益增多,一部分投资机构凭借其敏锐的洞察力,很快发现了人工智能产业发展....
发表于 10-14 11:22 32次 阅读
人工智能在出行领域有什么新成就

AI核心的难点有哪些

情绪AI有三种类型及其组合。它们都面临着各自的挑战,目前都处于不同的发展阶段。
发表于 10-14 11:13 32次 阅读
AI核心的难点有哪些

AI的有效应用数据孤岛怎样做可以打破

人工智能是非常有潜力的趋势,但它也不能建立在不完整、错误的数据集上。
发表于 10-14 11:10 20次 阅读
AI的有效应用数据孤岛怎样做可以打破

Tej Kohli基金会“液态生物合成”解决方案,将终结可治愈角膜失明问题

Tej Kohli基金会倡导一种可扩展、易获取且平价的技术解决方案来终结全球角膜失明。
发表于 10-14 11:05 45次 阅读
Tej Kohli基金会“液态生物合成”解决方案,将终结可治愈角膜失明问题

人工智能和机器学习对于网络有什么改善

随着网络变得越来越可编程,思科的合作伙伴和开发人员生态系统对于推动创新至关重要。
发表于 10-14 11:02 22次 阅读
人工智能和机器学习对于网络有什么改善

AI拿起笔来会怎么样

新技术的出现推动人类文化变革是毋庸置疑的,但人们总会担心自己被机器取代。
发表于 10-14 10:59 37次 阅读
AI拿起笔来会怎么样

人工智能背后的人工是谁

尽管当前AI技术已经进入落地阶段,但是头部AI企业的落地场景相较传统行业的AI落地场景,在技术上会更....
发表于 10-14 10:55 115次 阅读
人工智能背后的人工是谁

自闭症儿童教育干预如何利用好人工智能

人工智能与特殊教育的深度融合为特殊儿童带来新希望,人工智能为特殊儿童获得“包容性”与“公平性”的教育....
发表于 10-14 10:50 22次 阅读
自闭症儿童教育干预如何利用好人工智能

我国在人工智能领域的优势是什么

人工智能AI要发挥能力,需要依靠大量的数据来支持。但其实很多时候数据分散在不同企业中,由于数据安全、....
发表于 10-14 10:07 110次 阅读
我国在人工智能领域的优势是什么

人工智能将是未来社会发展的必然趋势

智能生活概念目前是科技领域的热点,围绕智能生活概念能够促进整个科技行业的进步,涉及到智能家居、智能出....
发表于 10-14 10:03 86次 阅读
人工智能将是未来社会发展的必然趋势

关于人工智能的内容伪原创工具

在当前工业革命和人工智能发展的背景下,Deep Learning的多功能性,再加上Deep Lear....
发表于 10-14 10:03 23次 阅读
关于人工智能的内容伪原创工具

人工智能技术怎样变得更强

未来人工智能的发展也有“综合”的趋势。譬如,语音、图像、视频数据等都可以转换成文字,而 AI 技术则....
发表于 10-14 09:52 25次 阅读
人工智能技术怎样变得更强

MLX90640新型红外传感器的开发笔记免费下载

现在自己在做红外成像仪的越来越多了,两年前有个井下机电设备运行状态的科研项目,当时使用了 AMG88....
发表于 10-14 08:00 6次 阅读
MLX90640新型红外传感器的开发笔记免费下载

硬件算力需求飙升,为什么软件生意越来越火?

硬件发展受到了前所未有的挑战。但与此同时,软件的重要性也被提到了前所未有的高度。这背后的逻辑是什么?
的头像 墨记 发表于 10-14 07:59 754次 阅读
硬件算力需求飙升,为什么软件生意越来越火?

物联网医疗怎样提高用户的体验

物联网时代是一个万物互联的时代,强调有温度的感知,而非冰冷的人工智能。
发表于 10-12 17:33 93次 阅读
物联网医疗怎样提高用户的体验

实体名单对准中国AI企业的原因是什么

中国拥有广袤的市场和海量的数据资源,在AI产业化发展方面具有天然的优势,也促进了中国AI的崛起
发表于 10-12 17:18 86次 阅读
实体名单对准中国AI企业的原因是什么

机器学习对于运营如何可以优化

机器学习和人工智能是当今IT专业人员的热门话题,而在企业的数据中心,它们拥有真正的前景。
发表于 10-12 17:15 80次 阅读
机器学习对于运营如何可以优化

人工智能模糊探测技术应该怎样看待

人工渗透测试将会很快过时,人工智能驱动的工具提供了一种覆盖范围更广泛的渗透测试方法。
发表于 10-12 17:13 62次 阅读
人工智能模糊探测技术应该怎样看待

人工智能完成任务的速度可以提高吗

运行人工智能(AI)的数据中心将比使用人工编辑算法时间表的数据中心效率更高。
发表于 10-12 17:06 69次 阅读
人工智能完成任务的速度可以提高吗

用机器学习对人脸进行打分

利用机器学习进行人脸颜值评分
发表于 10-12 15:11 20次 阅读
用机器学习对人脸进行打分

AI在医学领域的应用有什么突破

在人工智能的帮助下,医学物理师对单一患者的放疗计划时间也可从10小时缩减到15分钟,在提高计划质量的....
发表于 10-12 14:06 57次 阅读
AI在医学领域的应用有什么突破

美国运输司令部为什么采用AI技术

我们仍在努力地让这些系统能够成为原生云,久而久之,整个系统架构也就能迁移成功。
发表于 10-12 11:53 52次 阅读
美国运输司令部为什么采用AI技术

不同于人工智能领域的深度学习或将成为趋势

深度学习不是教育学独有的概念。事实上,这一概念滥觞于20世纪50年代计算机科学的人工智能研究。195....
发表于 10-12 11:50 56次 阅读
不同于人工智能领域的深度学习或将成为趋势

人工智能技术让我们的生活变得越来越便利快捷

当我们感叹如今的人工智能(AI)正让日常生活变得越来越便利快捷时,大多数人或许不知道,看似无所不能的....
发表于 10-12 11:46 341次 阅读
人工智能技术让我们的生活变得越来越便利快捷

AI会成为未来国家的竞争点吗

每一个中国的科技企业,都必须为中国科技战贡献自己的力量,责无旁贷地需要发挥主体作用,在生产经营中向更....
发表于 10-12 11:34 254次 阅读
AI会成为未来国家的竞争点吗

用人工智能保护地球生态从哪里开始

人工智能助力生物多样性保护的事业刚刚启动,未来还需要不断的创新与尝试,随着技术的发展与环境保护重要性....
发表于 10-12 11:30 44次 阅读
用人工智能保护地球生态从哪里开始

如何利用人工智能防止网络欺诈

声纹识别是通过对一种或多种语音信号的特征分析来达到对未知声音辨别的目的,简单的说就是辨别某一句话是否....
发表于 10-12 11:25 854次 阅读
如何利用人工智能防止网络欺诈

人工智能诞生的目的是什么

现在的人工智能技术已经覆盖了我们生活中的每个角落,不管是居住的园区还是个人设备,都有着人工智能的身影....
发表于 10-12 11:21 86次 阅读
人工智能诞生的目的是什么

巨头AI音乐大战谁能拔得头筹

除了算法和数据标注上的一些技术手段,我们也在考虑直接对音乐的音频做相应的分析,目的也是能够让AI能对....
发表于 10-12 11:16 53次 阅读
巨头AI音乐大战谁能拔得头筹

为什么说FPGA是机器深度学习的未来?

  最近几年数据量和可访问性的迅速增长,使得人工智能的算法设计理念发生了转变。人工建立算法的做法被计算机从大量数据中自动...
发表于 10-10 06:45 54次 阅读
为什么说FPGA是机器深度学习的未来?

机器学习在即时配送领域的应用

机器学习在美团配送系统的实践:用技术还原真实世界...
发表于 10-09 06:10 34次 阅读
机器学习在即时配送领域的应用

50个机器学习实用API干货

还在为找不到机器学习的API而烦恼吗?本篇文章将介绍一个包含50+关于人脸和图像识别,文本分析,NLP,情感分析,语言翻译,...
发表于 10-06 08:00 221次 阅读
50个机器学习实用API干货

通过Excel表格来学习机器学习算法

五步解析机器学习难点—梯度下降【转】
发表于 09-27 11:12 47次 阅读
通过Excel表格来学习机器学习算法

【微信精选】手把手跟我入门机器学习:手写体识别模型

前两篇的连载会以机器学习理论为主,之后的文档就基本是纯实际应用了,不会有太多理论内容了:[ Darknet 训练目标检测模型 ]、[...
发表于 09-23 07:00 740次 阅读
【微信精选】手把手跟我入门机器学习:手写体识别模型

干货 | 这些机器学习算法,你了解几个?

机器学习算法的分类是棘手的,有几种合理的分类,他们可以分为生成/识别,参数/非参数,监督/无监督等。 例如,Scikit-Learn的...
发表于 09-22 08:30 195次 阅读
干货 | 这些机器学习算法,你了解几个?

探讨机器学习与深度学习的差异

人工智慧、機器學習以及深度學習已變成現今最熱門的話題之一,但以字面上的意思不足以清楚的表達其意義,使得人們常常混淆。以下...
发表于 09-20 09:05 137次 阅读
探讨机器学习与深度学习的差异

自然语言处理句法分析

Dependency Parser研究进展及主流方法
发表于 09-18 06:02 64次 阅读
自然语言处理句法分析

郑交会人工智能科技展

2019年,“智能+”作为一个概念,首次出现在政府工作报告中,人工智能也已连续三年被写入政府工作报告。在国务院印发的关于“新...
发表于 09-16 18:24 176次 阅读
郑交会人工智能科技展