电子发烧友网 > 人工智能 > 正文

深度学习的发展历程

2020年11月09日 09:39 次阅读

深度学习机器学习的一个分支,它除了可以学习特征和任务之间的关联以外,还能自动从简单特征中提取更加复杂的特征。2012年以后,深度学习(DeepLearning,DL)的热度呈指数上升,深度学习最具代表性的一类方法是深度神经网络,神经网络试图模拟大脑神经元层的活动,以学习如何识别数据中的复杂模式。深度学习的前身为人工神经网络(ArTIficialNeuralNetwork,ANN),ANN的历史可以追溯到上世纪50年代。目前深度学习最最成熟的技术本质上依然是人工神经网络。

1958年Rosenblatt发明了感知器(Perceptron)算法。该算法使用MCP模型(MCP是作者名字的缩写)对输入的多维数据进行二分类,且能够使用梯度下降法从训练样本中自动学习更新权值。1962年,该方法被证明能够收敛,理论与实践效果引起第一次神经网络的研究浪潮。1969年,美国数学家及人工智能先驱Minsky在其著作中证明感知器本质上是一种线性模型,只能处理线性分类问题,就连最简单的XOR(亦或)问题都无法正确分类,这间接宣判了感知器的死刑,神经网络的研究因此陷入了近20年的停滞。

直到上世纪80年代,Hinton在1986年发明了适用于多层感知器(MulTI-layersperceptron)的反向传播算法,并采用Sigmoid函数进行非线性映射,有效解决了非线性分类和学习的问题,该方法引起了神经网络的第二次热潮。YanLecun等人于1998年发明了深度卷积神经网络LeNet-5,该网络引入了卷积层,下采样层和全连接层,是现在大部分深度卷积神经网络的雏形,LeNet-5成功地运用到手写数字(MNIST)识别任务。然而由于神经网络一直缺少相应的严格的数学理论支持,神经网络的研究进入第二次低潮期。随后决策树方法、SVM、朴素贝叶斯等统计学方法成为机器学习研究的主流。

2006年,Hinton等人在其研究中提出了深度学习的概念,之后在众多研究者努力下,随机梯度下降法(StochasTIcGradientDescent,SGD),Dropout等网络优化策略被相继提出,尤其是GPU并行计算技术解决了深度网络参数多优化时间长的难题后,全世界范围内掀起了研究深度学习的热潮并持续至今。10多年来,许多经典的深度学习架构被提出,如典型的深度卷积神经网络架构AlexNet,循环神经网络(RecurrentNeuralNetworks,RNN)、长短期记忆网络(LongShort-TermMemory,LSTM)、生成式对抗网络(GeneraTIveAdversarialNetwork,GAN)等。


责任编辑人:CC

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

第一届中国AI与机器学习研讨会

活动内容  人工智能技术将在未来对传统产业产生重大颠覆性影响,人工智能将在各行各业为创新设计带来新的动力,它也将催生新的
发烧友学院发表于 2018-03-29 00:00 1544次阅读
第一届中国AI与机器学习研讨会

深度学习面临的挑战有哪些

人工智能几乎与计算机本身一样古老,其历史可追溯到上世纪五十年代,但早期的人工智能解决方案与当前的技术....
发表于 2020-11-09 09:42 0次阅读
深度学习面临的挑战有哪些

学习人工智能需要掌握什么技术

一提到人工智能,很多人都会想到不简单,头脑一般的人根本学不进去,格物斯坦表示:在学人工智能之前,要掌....
发表于 2020-11-08 10:06 342次阅读
学习人工智能需要掌握什么技术

中国数字化之路:人工智能技术的挑战和机遇

2020年11月3日下午,中国(深圳)综合开发研究院举行“中国数字化之路研讨会”,中科院深圳先进技术....
发表于 2020-11-08 09:46 203次阅读
中国数字化之路:人工智能技术的挑战和机遇

美国陆军发布小型无人机系统战略

2020年9月,美国陆军发布《小型无人机系统(SUAS)战略》,该战略描述了陆军如何调整资源、管理流....
发表于 2020-11-08 09:22 198次阅读
美国陆军发布小型无人机系统战略

最新的编程语言排行说明Python冲上第二

本月的排行榜出现了自 TIOBE 榜单发布以来,近二十年从未见过的变化:前两名的位置首次出现了一个除....
发表于 2020-11-07 10:54 188次阅读
最新的编程语言排行说明Python冲上第二

机器学习与RFMLS项目详解

随着无线电终端和物联网设备的爆炸性增长,无线电频谱正在变得越来越拥挤,识别、定位和阻断干扰信号变得异....
发表于 2020-11-07 09:45 186次阅读
机器学习与RFMLS项目详解

干货:遇到不同问题或项目应采取的不同机器学习算法

刚开始学习数据科学时,笔者经常面临这样一个问题:遇到具体问题,选择何种算法才合适。也许你也和我一样,....
发表于 2020-11-06 16:31 140次阅读
干货:遇到不同问题或项目应采取的不同机器学习算法

一文详谈机器学习的强化学习

强化学习属于机器学习中的一个子集,它使代理能够理解在特定环境中执行特定操作的相应结果。目前,相当一部....
发表于 2020-11-06 15:33 241次阅读
一文详谈机器学习的强化学习

国内首款肌肉外甲问世:仿生碳纤支架 重量2.5k...

日前,远也科技推出了国内首款肌肉外甲,这是一款自主研发的新型可穿戴机器人,将服务有行动功能障碍的人群....
发表于 2020-11-06 13:20 201次阅读
国内首款肌肉外甲问世:仿生碳纤支架 重量2.5k...

AI如何分析理解人类的思维和行为模式

人工智能在市场营销领域取得的成功,揭示了人类的一些思维和行为模式,这些模式可以转化为其他应用程序。
发表于 2020-11-06 11:38 199次阅读
AI如何分析理解人类的思维和行为模式

深度学习框架:助燃新工业革命 成为产业的AI基座

十九届五中全会公报提出,要把科技自立自强作为国家发展的战略支撑。 公报更进一步强调了科技的自立自强,....
发表于 2020-11-05 18:05 387次阅读
深度学习框架:助燃新工业革命 成为产业的AI基座

芯华章将推出支持国产计算机架构的国产验证EDA工...

据芯华章科技创始人、董事长兼CEO王礼宾透露,芯华章即将推出市场上首款支持国产计算机架构的国产验证E....
发表于 2020-11-05 16:44 118次阅读
芯华章将推出支持国产计算机架构的国产验证EDA工...

人工智能可以被偏见吗

距离全球被乔治·弗洛伊德(George Floyd)被跪害惨案震惊仅仅过了三个月。在美国的集体记忆中....
发表于 2020-11-05 14:59 299次阅读
人工智能可以被偏见吗

Python 在未来十年内仍是机器学习的首选语言

愚者多怨,仁者不言,生活中就是会有很多爱唱反调的人,但不管怎么说Python 在接下来十年仍然会很重....
发表于 2020-11-05 14:38 176次阅读
Python 在未来十年内仍是机器学习的首选语言

能够指挥AI机器的编程网红Python,被誉为“...

在这样的背景之下,我国也非常重视Python的教育:浙江已经把Python列为中学生必修项目;山东、....
发表于 2020-11-05 14:09 402次阅读
能够指挥AI机器的编程网红Python,被誉为“...

机器学习项目失败的十大原因

如今人们总是能听到有关机器学习的新闻,而机器学习技术确实有更多发展潜力。调研机构Gartner公司预....
发表于 2020-11-05 13:55 190次阅读
机器学习项目失败的十大原因

中国科学院院士姚期智:人工智能存在三大技术瓶颈

关于姚期智在2020年浦江创新论坛的演讲,迄今为止只见到头条推送的两篇报道,即图灵奖唯一华人得主PP....
发表于 2020-11-05 10:50 484次阅读
中国科学院院士姚期智:人工智能存在三大技术瓶颈

Google Cloud推出新的Document...

Google承诺使用Document AI Platform来自动化该过程。它在统一的仪表板上将Go....
发表于 2020-11-05 10:30 216次阅读
Google Cloud推出新的Document...

基于深度学习的回归方法YOLO系列简介

YOLO系列是基于深度学习的回归方法。 RCNN, Fast-RCNN,Faster-RCNN是基于....
发表于 2020-11-05 10:13 198次阅读
基于深度学习的回归方法YOLO系列简介

关于机器学习和人工神经网络

在人工神经网络课程之后,有一位同学课下问了一个问题,她这学期也在学习机器学习课程,感觉人工神经网络课....
发表于 2020-11-05 10:02 368次阅读
关于机器学习和人工神经网络

深度学习:多目标跟踪方向调研报告

导读 本文是一篇多目标跟踪方向的调研报告,从相关方向、核心步骤、评价指标和最新进展等维度出发,对MO....
发表于 2020-11-05 10:01 162次阅读
深度学习:多目标跟踪方向调研报告

深度学习:搜索和推荐中的深度匹配问题

本文主要启发来源SIGIR2018的这篇综述性slides《Deep Learning for Ma....
发表于 2020-11-05 09:47 205次阅读
深度学习:搜索和推荐中的深度匹配问题

机器学习性能谁来评判?

本期导读 MLPerf 组织最近发布了最新一轮机器学习性能测试结果,首次直接参加此次测试的新力量 赛....
发表于 2020-11-05 09:46 315次阅读
机器学习性能谁来评判?

基于多视图协作学习的人岗匹配研究论文提要

近日,第29届国际计算机学会信息与知识管理大会(CIKM 2020)在线上召开,CIKM是CCF推荐....
发表于 2020-11-05 09:32 349次阅读
基于多视图协作学习的人岗匹配研究论文提要

什么是深度学习,深度学习能解决什么问题

深度学习是机器学习与神经网络、人工智能、图形化建模、优化、模式识别和信号处理等技术融合后产生的一个领....
发表于 2020-11-05 09:31 107次阅读
什么是深度学习,深度学习能解决什么问题

知识图谱:基于实体的层次化概念体系的属性自动获取...

摘要:属性是实体的重要组成部分,因此如何自动获取实体的属性一直为知识图谱领域的研究者所关注。由哈尔滨....
发表于 2020-11-05 09:23 144次阅读
知识图谱:基于实体的层次化概念体系的属性自动获取...

霍尼韦尔高级量子计算机-H1型系统的权限对CQC...

剑桥量子计算公司 (CQC) 今天宣布了一项与霍尼韦尔量子解决方案的协议。据此协议,CQC将获得访问....
发表于 2020-11-05 09:14 201次阅读
霍尼韦尔高级量子计算机-H1型系统的权限对CQC...

推荐初学者的TensorFlow延伸阅读

推荐初学者的延伸阅读 除了课程内容外,TensorFlow 官网也为大家提供了学习研究机器学习丰富实....
发表于 2020-11-04 18:31 240次阅读
推荐初学者的TensorFlow延伸阅读

医疗+AI:AI脑电波诊断法 机器学习技术与EE...

原标题:3.5亿抑郁症患者背后,谷歌AI做了什么? 抑郁症,似乎离我们很近又很远。 我们会在社交网络....
发表于 2020-11-04 17:57 359次阅读
医疗+AI:AI脑电波诊断法 机器学习技术与EE...

企业应如何改变创新流程以提高AI成功率?

如今,人工智能的炒作无处不在,很多全球科技厂商都在开发和应用人工智能技术,以获得理想的投资回报率。但....
发表于 2020-11-04 17:05 460次阅读
企业应如何改变创新流程以提高AI成功率?

英特尔收购Cnvrg公司,构建和运行机器学习模型...

据国外媒体报道,英特尔继续通过收购优质的初创公司,深耕机器学习和人工智能领域。该公司近日收购了一家以....
发表于 2020-11-04 16:26 259次阅读
英特尔收购Cnvrg公司,构建和运行机器学习模型...

英伟达 A100 GPU 全面上市,推理性能比 ...

根据英伟达官方的消息,在 AWS 运行 NVIDIA GPU 十周年之际,AWS 发布了采用全新 A....
发表于 2020-11-04 15:34 224次阅读
英伟达 A100 GPU 全面上市,推理性能比 ...

过去十年引人注目的分析和人工智能错误

数据和机器学习算法所带来的洞察可能是无价之宝,但是错误会损害你的声誉,影响你的收入甚至生命安全。这些....
发表于 2020-11-04 10:18 325次阅读
过去十年引人注目的分析和人工智能错误

关于Pre-trained模型加速模型学习的建议

首先,为什么要调整模型? 像卷积神经网络( CNN )这样的深度学习模型具有大量的参数;一般称之为超....
发表于 2020-11-03 18:08 233次阅读
关于Pre-trained模型加速模型学习的建议

如何在BERT中引入知识图谱中信息

引言 随着BERT等预训练模型横空出世,NLP方向迎来了一波革命,预训练模型在各类任务上均取得了惊人....
发表于 2020-11-03 17:52 236次阅读
如何在BERT中引入知识图谱中信息

batch normalization时的一些缺...

导读 batch normalization时的一些缺陷。 Batch Normalization确....
发表于 2020-11-03 17:27 267次阅读
batch normalization时的一些缺...

近期必读的6篇ICLR 2021相关论文

本期的关注焦点是NLP的6篇论文。 NLP CoDA: Contrast-enhanced and ....
发表于 2020-11-03 17:21 139次阅读
近期必读的6篇ICLR 2021相关论文

交友APP:AI和机器能帮助你找到那个“他”吗?

交友APP或许很多人都用过。约会AI的基本目标是为客户配对,直到他们找到理想的伴侣。在很久以前,这个....
发表于 2020-11-03 16:43 268次阅读
交友APP:AI和机器能帮助你找到那个“他”吗?

如何理解人工智能、机器学习和深度学习三者的区别

深度学习、机器学习、人工智能——这些流行词皆代表了分析学的未来。在这篇文章中,我们将通过一些真实世界....
发表于 2020-11-03 15:36 307次阅读
如何理解人工智能、机器学习和深度学习三者的区别

TinyML推动深度学习和人工智能发展

TinyML是深度学习和人工智能领域的最新技术。它带来了在随处可见的微控制器(几乎是最小的电子芯片)....
发表于 2020-11-03 14:58 253次阅读
TinyML推动深度学习和人工智能发展

大华股份发布了三季度业绩,营业总收入161.66...

2020年10月13日,大华股份发布了三季度业绩报告。值得注意的是,报告显示,冯柳的高毅邻山1号远望....
发表于 2020-11-03 14:34 404次阅读
大华股份发布了三季度业绩,营业总收入161.66...

为了不让AI带有歧视色彩,谷歌操碎了心训练模型

土耳其语的「他」和「她」没有性别的区分,统一用 O 表示。过去 Google Translate 在....
发表于 2020-11-03 10:47 221次阅读
为了不让AI带有歧视色彩,谷歌操碎了心训练模型

AMD下载网站上已经泄漏部分系列显卡的信息

根据AMD此前的介绍,CDNA架构专门针对GPU计算进行优化,专注于计算/张量操作性能,从而加速机器....
发表于 2020-11-03 10:18 354次阅读
AMD下载网站上已经泄漏部分系列显卡的信息

Google为提升机器学习的公平性内部研发对抗训...

看到这个问题后,Google 意识到要想办法更好地训练模型,让它变得更加「中立」。后来 Google....
发表于 2020-11-03 10:01 289次阅读
Google为提升机器学习的公平性内部研发对抗训...

机器学习可以有效的控制物联网应用的安全性

        随着这个智能物联的时代不断前行,不仅仅带来无限的便捷,同时也带来了网络安...
发表于 2020-11-03 09:09 0次阅读
机器学习可以有效的控制物联网应用的安全性

人工智能时代,AI已应用到多个领域

人工智能时代,机器学习,尤其是深度学习,在各行各业中得到了越来越广泛的应用。比如智能交互、人机交流、....
发表于 2020-11-02 17:48 853次阅读
人工智能时代,AI已应用到多个领域

人工智能如何推动天文学创新

 如果说某一流行语正以狂风骤雨之势席卷各行各业,那必然少不了“人工智能”。但它究竟还是在角落里小范围....
发表于 2020-11-02 16:30 393次阅读
人工智能如何推动天文学创新

金融市场中的NLP 情感分析

自在ImageNet上推出AlexNet以来,计算机视觉的深度学习已成功应用于各种应用。相反,NLP....
发表于 2020-11-02 16:18 258次阅读
金融市场中的NLP 情感分析

半监督学习最基础的3个概念

导读 今天给大家介绍半监督学习中的3个最基础的概念:一致性正则化,熵最小化和伪标签,并介绍了两个经典....
发表于 2020-11-02 16:14 172次阅读
半监督学习最基础的3个概念

最基础的半监督学习

导读 最基础的半监督学习的概念,给大家一个感性的认识。 半监督学习(SSL)是一种机器学习技术,其中....
发表于 2020-11-02 16:08 216次阅读
最基础的半监督学习

在情感分析中使用知识的一些代表性工作

1.引文 情感分析 知识 当training数据不足以覆盖inference阶段遇到的特征时,是标注....
发表于 2020-11-02 16:05 200次阅读
在情感分析中使用知识的一些代表性工作

自监督学习与Transformer相关论文

导读 国际表示学习大会(TheInternationalConference onLearningR....
发表于 2020-11-02 15:50 190次阅读
自监督学习与Transformer相关论文

深度学习:远程监督在关系抽取中的应用

什么是关系抽取 知识就是力量。使人类及机器能够更好地利用知识是提升工作效率及实现人工智能的关键所在,....
发表于 2020-11-02 15:43 340次阅读
深度学习:远程监督在关系抽取中的应用

运用多种机器学习方法比较短文本分类处理过程与结果...

目标 从头开始实践中文短文本分类,记录一下实验流程与遇到的坑运用多种机器学习(深度学习 + 传统机器....
发表于 2020-11-02 15:37 557次阅读
运用多种机器学习方法比较短文本分类处理过程与结果...

【AI学习】第2篇--AI 的基础知识

簡介人工智慧(AI) 人工智慧的定義 • 人工智慧(Artificial intelligence,簡稱AI),是指讓電腦能夠表現出與人...
发表于 2020-11-02 11:56 202次阅读
【AI学习】第2篇--AI 的基础知识

【AI学习】AI概论:(Part-C)AI(机器)是如何学习呢?

任务十四:从连连看出发 目标: 1. 前面说明了,许多人认为,在AI领域里的天字第1号术语是:特征(Feature)。 2....
发表于 2020-10-30 15:24 101次阅读
【AI学习】AI概论:(Part-C)AI(机器)是如何学习呢?

DIY剪刀石头布机器人(一)

背景:回家看到小外甥存了很多零用钱,作为舅舅,最近手头有点紧。于是经过几天的筹划,决定制作一个剪刀石头布机器人...
发表于 2020-10-09 22:32 303次阅读
DIY剪刀石头布机器人(一)

国产AI开发板香橙派4B的NPU使用下篇(Linux系统)

https://bbs.elecfans.com/jishu_1957810_1_1.html 本文继续介绍在Linux系统下的NPU使用: 1、烧写固件 烧录固...
发表于 2020-09-21 17:55 303次阅读
国产AI开发板香橙派4B的NPU使用下篇(Linux系统)

机器学习如何解决芯片设计中的NP-hard的问题?

EDA 中的大部分设计问题都属于 NP-hard 问题,由于不存在解决这些问题的多项式时间算法,因此无法通过分析确定最...
发表于 2020-09-03 01:15 910次阅读
机器学习如何解决芯片设计中的NP-hard的问题?

目标检测 | 已开源!全新水下目标检测算法SWIPENet+IMA框架

作者:SFXiang 首发:AI算法修炼营 论文地址: 代码地址: 近年来,基于深度学习的方法在标准的目标检测中取...
发表于 2020-07-24 11:05 808次阅读
目标检测 | 已开源!全新水下目标检测算法SWIPENet+IMA框架

深度学习入门之中根据源代码下载到mnist数据集,训练识别率超级低问题

深度学习入门 中根据源代码下载到mnist数据集,训练识别率超级低问题...
发表于 2020-07-08 16:53 1512次阅读
深度学习入门之中根据源代码下载到mnist数据集,训练识别率超级低问题

关于机器学习的日志

机器学习日志
发表于 2020-07-08 12:54 119次阅读
关于机器学习的日志

机器学习小白的总结

机器学习小白第一周自我总结
发表于 2020-07-08 08:27 133次阅读
机器学习小白的总结