深度学习的基础知识,深度学习神经网络和学习过程的历史

2019-09-20 15:57 次阅读

在本文中,我将向您简要介绍深度学习的基础知识,无论您之后可能选择何种语言,库或框架。

介绍

试图用很好的理解来解释深度学习可能需要一段时间,所以这不是本文的目的。

目的是帮助初学者理解该领域的基本概念。然而,即使是专家也可能会在以下内容中找到有用的东西。

冒着极其简单的风险(请专家请原谅我),我会尽量给你一些基本信息。如果不出意外,这可能只会引发一些人更愿意深入研究这个问题。

一些历史

深度学习本质上是一个新的和时髦的名称,一个主题已经存在了相当长一段时间的神经网络

当我在90年代初开始学习(和爱好)这个领域时,这个主题已经众所周知了。事实上,第一步是在20世纪40年代(麦卡洛克和皮茨),但从那时起,这个领域的进展一直很大,直到现在。该领域取得了巨大的成功,在智能手机,汽车和许多其他设备上进行了深入的学习。

那么,什么是神经网络,你可以用它做什么?

好吧,让我们关注计算机科学的经典方法:程序员设计一种算法,对于给定的输入,它会生成输出。

他或她准确地设计函数f(x)的所有逻辑,以便:

y = f(x)

其中x和y分别是输入和输出。

但是,有时设计f(x)可能并不那么容易。例如,想象一下,x是面部图像,y是通信者的名字。对于自然大脑来说,这项任务非常容易,而计算机算法难以完成!

这就是深度学习和神经网络发挥作用的地方。基本原则是:停止尝试设计f()算法并尝试模仿大脑。

好的,大脑是如何表现的?它使用几个无限对(x,y)样本(训练集)训练自己,并且在整个逐步过程中,f(x)函数自动形成自身。它不是由任何人设计的,而是从无休止的试错法提炼机制中产生的。

想象一个孩子每天看着他或她周围的熟悉的人:数十亿的快照,从不同的位置,视角,光线条件,每次进行关联,每次纠正和锐化下面的自然神经网络。

人工神经网络是由大脑中的神经元和突触构成的自然神经网络的模型。

典型的神经网络结构

为了保持简单(并且能够利用当今机器的数学和计算能力),可以将神经网络设计为一组层,每层包含节点(大脑神经元的人工对应物),其中层中的每个节点连接到下一层中的每个节点。

每个节点都有一个由两个限制之间的浮点数表示的状态,通常为0和1.当此状态接近其最小值时,该节点被视为非活动(关闭),而当它接近最大值时,该节点被视为活动状态(上)。你可以把它想象成一个灯泡; 不严格依赖于二进制状态,但也能够处于两个限制之间的某个中间值。

每个连接都有一个权重,因此前一层中的活动节点可能或多或少地对下一层中的节点的活动(兴奋性连接)做出贡献,而非活动节点不会传播任何贡献。

连接的权重也可以是负的,这意味着前一层中的节点(或多或少地)对下一层中的节点的不活动性(抑制连接)做出贡献。

为简单起见,让我们描述一个网络的子集,其中前一层中的三个节点与下一层中的节点相连。再简单来说,假设前一层中的前两个节点处于其最大激活值(1),而第三个节点处于其最小值(0)。

在上图中,前一层中的前两个节点是活动的(on),因此,它们对下一层中节点的状态有所贡献,而第三个节点在非活动(关闭)中有所贡献,因此它不会贡献以任何方式(独立于其连接重量)。

第一个节点具有强(厚)正(绿色)连接权重,这意味着它对激活的贡献很高。第二个具有弱(薄)负(红色)连接重量; 因此,它有助于抑制连接节点。

最后,我们得到了来自前一层的传入连接节点的所有贡献的加权和。

其中i是节点i的激活状态,w ij是连接节点i和节点j的连接权重。

那么,给定这个加权和数,我们如何判断下一层中的节点是否会被激活?规则是否简单如“如果总和为正,它将被激活,而如果负数则不会”?嗯,它可能是这种方式,但一般来说,它取决于您为节点选择的激活函数(以及哪个阈值)。

想一想; 这个最终数字可以是实数范围内的任何数字,而我们需要使用它来设置具有更有限范围的节点的状态(假设从0到1)。然后我们需要将第一个范围映射到第二个范围,以便将任意(负数或正数)数字压缩到0..1范围。

执行此任务的一个非常常见的激活函数是sigmoid函数

阈值(y值达到范围中间的x值,即0.5)为零,但通常,它可以是任何值(负或正,导致sigmoid向左移位)或右边)。

低阈值允许以较低加权和激活节点,而高阈值将仅使用该总和的高值来确定激活。

该阈值可以通过考虑前一层中的附加虚节点来实现,其具有恒定激活值1.在这种情况下,实际上,该虚节点的连接权重可以充当阈值,并且总和公式以上可以认为包含阈值本身。

最终,网络的状态由其所有权重的值集合(从广义上讲,包括阈值)来表示。

给定状态或一组权重值可能会产生不良结果或大错误,而另一个状态可能会产生良好结果,换句话说,就是小错误。

因此,在N维状态空间中移动会导致小的或大的错误。将权重域映射到错误值的此函数是损失函数。我们的思想不能轻易想象在N + 1空间中的这种功能。但是,我们可以得到N = 2的特殊情况的一般概念:阅读本文,你会看到。

训练神经网络包括找到最小的损失函数。为什么一个好的最小值而不是全局最小值?好吧,因为这个函数通常是不可微分的,所以你只能借助一些Gradient Descent技术在权重域中游荡,并希望不要:

做出太大的步骤,可能会让你在没有意识到的情况下爬到最低限度

做太小的步骤可能会让你定在一个不太好的局部最小值

这不是一件容易的事,是吧?这就是为什么这是深度学习的总体主要问题,以及为什么训练阶段可能需要数小时,数天或数周。这就是为什么您的硬件对于此任务至关重要以及为什么您经常需要停止培训并考虑不同的方法和配置参数值并重新开始它的原因!

但让我们回到网络的一般结构,这是一堆层。第一层是输入(x),而最后一层是输出(y)。

中间的层可以是零,一个或多个。它们被称为隐藏层,深度学习中的“深层”一词恰好指的是网络可以有许多隐藏层,因此可能在训练期间找到更多关联输入和输出的特征。

注意:在20世纪90年代,你会听说过多层网络而不是深层网络,但这是一回事。现在,已经越来越清楚的是,层越远离输入(深层),它就越能捕获抽象特征。

另请参阅: 从程序员的角度设计Java中的神经网络

学习过程

在学习过程开始时,权重是随机设置的,因此第一层中的给定输入集将传播并生成随机(计算)输出。然后将该输出与所提供输入的所需输出进行比较; 差异是衡量网络错误的指标(损失函数)。

然后,此错误用于对生成它的连接权重应用调整,此过程从输出层开始,逐步向后移动到第一层。

应用的调整量可以很小或很大,并且通常在称为学习率的因素中定义。

该算法称为反向传播,并在Rumelhart,Hinton和Williams研究后于1986年开始流行。

请记住中间的名字:Geoffrey Hinton。他经常被称为“深度学习的教父”,是一位不知疲倦的照明科学家。例如,他现在正在研究一种名为Capsule Neural Networks的新范例,这听起来像是该领域的另一场伟大革命!

反向传播的目标是通过对训练集中每次迭代的权重进行适当的校正来逐渐减少网络的整体误差。再次,考虑到减少误差的这个过程是困难的部分,因为没有任何保证重量调整总是朝着正确的方向进行最小化。

这个问题总结为在n维表面找到最小值,同时用眼罩踩着:你可以找到一个局部最小值,永远不知道你是否能表现得更好。

如果学习速率太小,则该过程可能导致过慢,并且网络可能停滞在局部最小值。另一方面,较大的学习速率可能导致跳过全局最小值并使算法发散。

事实上,在训练阶段,问题往往是减少错误的过程不会收敛,错误会增加而不是缩小!

收藏 人收藏
分享:

评论

相关推荐

C语言基础 之 第6章 函数

1 main函数回顾2 自定义函数1 之 函数定义3 自定义函数2 之 函数调用4 自定义函数3 之 传参和返回值5 使
发表于 12-09 00:00 2955次 阅读
C语言基础 之 第6章 函数

如何利用UCOS引发任务调度?

我看资料中的任务调度往往发生在程序延时中,程序释放CPU引发任务的调度,但是我希望程序能够更快的运行,不想使用延时函数,...
发表于 10-24 04:36 12次 阅读
如何利用UCOS引发任务调度?

为什么汉字显示的颜色始终和ucGUI的背景颜色设置是一致的?

原子哥,按照您的建议,我将ucGUI移植后,使用开发板的汉字显示实例中的字库和汉字显示驱动,初始化ucGUI后,GUI的函数...
发表于 10-24 03:05 6次 阅读
为什么汉字显示的颜色始终和ucGUI的背景颜色设置是一致的?

如何把函数的传递参数放在外部存储空间?

内部数据存储空间不够,为了节省空间,怎么把函数的传递参数放在外部存储空间呢...
发表于 10-24 00:27 20次 阅读
如何把函数的传递参数放在外部存储空间?

如何得知是哪个对象触发了呢?

通过OSPendMulti函数等待多个内核对象,通过返回值可以知道多少个内核事件触发了 ,   如何得知是哪个对象触发了呢...
发表于 10-24 00:04 2次 阅读
如何得知是哪个对象触发了呢?

语音识别发展渐趋成熟,未来或成生物识别主流方式

语音识别技术,也被称为自动语音识别(ASR)。其目标是将人类语音中的词汇内容转换为计算机可读的数据,....
发表于 10-23 23:42 8次 阅读
语音识别发展渐趋成熟,未来或成生物识别主流方式

为什么UCOS III事件标志组Pend函数不能正常执行?

本人使用OSFlagPend函数等待一个事件标志组中的两个标志全部清零,按照以下写法出现了问题。当运行到该函数时,标志组的值为...
发表于 10-23 23:33 4次 阅读
为什么UCOS III事件标志组Pend函数不能正常执行?

请问stm32f429 LWIP发送函数该怎么写?

各位大哥: 我目前正在做LWIP通讯的程序,由于初次做这方面,有个问题想请教大家,就是我想利用lwip发送一个 uint8_t tcp_se...
发表于 10-23 23:28 3次 阅读
请问stm32f429 LWIP发送函数该怎么写?

keil rtx重入函数无法正常传入该怎么办?

使用KEIL C51然后用到RTX,然后多任务需要同时调用A函数,这个A函数带有一个参数我在函数上加入了reentrant关键字就是...
发表于 10-23 23:19 19次 阅读
keil rtx重入函数无法正常传入该怎么办?

请问程序卡死在OSTimeDlyHMSM函数里面是怎么回事?

为了学习UCOS我写了一个程序,有3个任务,其中任务一是按键扫描,任务二是图片显示,任务三是不停的闪烁LED,当KEY_U...
发表于 10-23 22:34 14次 阅读
请问程序卡死在OSTimeDlyHMSM函数里面是怎么回事?

如何使用netconn进行编程最大接收字节数目?

小弟的程序是在原子的netconn webserver基础上进行修改的,但是配置文件没有修改. 当sever端和client端建立连接之后... server端...
发表于 10-23 20:54 5次 阅读
如何使用netconn进行编程最大接收字节数目?

为什么YouTask不能一直循环运行?

我的问题是:YouTask为啥不能一直循环运行?什么原因?谁能帮我解决了,我就给谁微信发10元红包。拜托各位大神了!代码压缩包见...
发表于 10-23 20:16 10次 阅读
为什么YouTask不能一直循环运行?

新思科技推出全新ARC EV7x嵌入式视觉处理器系列

DesignWare ARC EV7x视觉处理器提供可选配的AES-XTS加密引擎,以保护从片上存储....
发表于 10-23 11:47 45次 阅读
新思科技推出全新ARC EV7x嵌入式视觉处理器系列

一种基于人工智能的脑图像处理方法

基于深度学习的工作流程系统DeNeRD,框图显示了由神经元检测器(TOP)单元处理的来自不同出生后(....
发表于 10-22 16:41 37次 阅读
一种基于人工智能的脑图像处理方法

FPGA在深度学习领域的未来会有怎样的发展

近十年来,人工智能又到了一个快速发展的阶段。深度学习在其发展中起到了中流砥柱的作用,尽管拥有强大的模....
发表于 10-22 15:26 70次 阅读
FPGA在深度学习领域的未来会有怎样的发展

AI带来的隐私问题

深度学习在应用上与广大传统行业融合,让AI获得了前所未有的大爆发。但正如斯坦福大学教授李飞飞所说,(....
发表于 10-21 16:30 51次 阅读
AI带来的隐私问题

AI时代深度学习平台必须具备怎样的条件

深度学习平台在AI时代下一定要对接芯片,要做软硬一体的优化,一定程度上相当于芯片里面的指令集。
发表于 10-21 10:04 46次 阅读
AI时代深度学习平台必须具备怎样的条件

人工智能的技术结构是怎样的

深度学习全称深度神经网络,本质上是多层次的人工神经网络算法,即从结构上模拟人脑的运行机制,从最基本的....
发表于 10-21 09:26 865次 阅读
人工智能的技术结构是怎样的

AI技术有什么新的发展方向萌芽

随着越来越多的深度学习应用走向日常生活,该技术的局限性也开始受到大量关注,例如对大数据的强依赖、缺少....
发表于 10-21 08:59 51次 阅读
AI技术有什么新的发展方向萌芽

超高算力在人工智能领域如何应用?技术专家带你实战解读

重新定义数据科学其实是往两个方向在努力,一个是数据化,传统来说即结构化的数据处理,不过近几年随着神经....
的头像 倩倩 发表于 10-19 07:44 374次 阅读
超高算力在人工智能领域如何应用?技术专家带你实战解读

把脉中国人工智能产业和技术最新动态

“人工智能的三种创新将带来商业生态系统变革。” 科大讯飞轮值总裁胡郁表示,这三种创新分别是源头核心技....
的头像 倩倩 发表于 10-19 07:35 373次 阅读
把脉中国人工智能产业和技术最新动态

国内唯一开源开放深度学习平台飞桨累计服务150多万开发者

10月18日下午消息,2019年中关村论坛期间,在AI时代的深度学习技术与应用创新论坛上,百度首席技....
的头像 牵手一起梦 发表于 10-18 17:02 399次 阅读
国内唯一开源开放深度学习平台飞桨累计服务150多万开发者

使用javascript修改onclick动作的四种方式详细实例说明

本文档的主要内容详细介绍的是使用javascript修改onclick动作的四种方式详细实例说明。 ....
发表于 10-18 16:56 46次 阅读
使用javascript修改onclick动作的四种方式详细实例说明

FPGA有着优于传统GPP加速能力的显著潜力

作为GPU在算法加速上强有力的竞争者,FPGA是否立即支持不同硬件,显得尤为重要。FPGA与GPU不....
发表于 10-18 15:42 220次 阅读
FPGA有着优于传统GPP加速能力的显著潜力

未来人工智能将与产业进行深度结合

1997年5月,IBM的计算机程序“深蓝”在正常时限的国际象棋比赛中首次击败了当时世界第一的棋手加里....
发表于 10-18 10:12 350次 阅读
未来人工智能将与产业进行深度结合

MATLAB绘图教程的实例总结免费下载

本文档的主要内容详细介绍的是MATLAB绘图教程的实例总结免费下载。
发表于 10-17 16:00 88次 阅读
MATLAB绘图教程的实例总结免费下载

NTC和PTC热敏电阻的详细资料简介

热敏电阻的基本电气特性是它们随其温度变化而改变电阻。它们不整定,也不产生信号,热敏电阻温度会随周围温....
发表于 10-17 14:24 108次 阅读
NTC和PTC热敏电阻的详细资料简介

人工智能发展最大的瓶颈是什么

深度学习的算法在全世界科技行业非常有意思,它符合一个规律——代码共享,代码公开。
发表于 10-17 14:18 219次 阅读
人工智能发展最大的瓶颈是什么

开源开放会是以后人工智能的主要发展方向吗

深度学习是新一代人工智能的核心支撑。
发表于 10-17 10:54 136次 阅读
开源开放会是以后人工智能的主要发展方向吗

LUA脚本的绘图API函数的使用方法及使用函数的注意事项

物联型串口屏通过 LUA 脚本配合工程可以完成大部分的内部逻辑处理,可以做到让 MCU 只参与数据处....
发表于 10-17 08:00 64次 阅读
LUA脚本的绘图API函数的使用方法及使用函数的注意事项

LUA如何实现回调函数的触发使用以及编写程序的注意事项

物联型串口屏通过 LUA 脚本配合工程可以完成大部分的内部逻辑处理,可以做到让 MCU 只参与数据处....
发表于 10-17 08:00 45次 阅读
LUA如何实现回调函数的触发使用以及编写程序的注意事项

LUA脚本API函数中的回调函数使用方法和注意事项资料和程序免费下载

本文档的主要内容详细介绍的是LUA脚本API函数中的回调函数使用方法和注意事项资料和程序免费下载。 ....
发表于 10-17 08:00 54次 阅读
LUA脚本API函数中的回调函数使用方法和注意事项资料和程序免费下载

如何使用LUA脚本在串口屏中实现简单的逻辑运算以及字符处理

物联型串口屏通过 LUA 脚本配合工程可以完成大部分的内部逻辑处理,可以做到让 MCU 只参与数据处....
发表于 10-17 08:00 64次 阅读
如何使用LUA脚本在串口屏中实现简单的逻辑运算以及字符处理

机器视觉火了,三大问题如何解决?

机器视觉是人工智能的一个分支,简单来说,就是用机器代替人眼来做测试和判断,在实际应用中,机器视觉还存....
的头像 Carol Li 发表于 10-16 23:01 1589次 阅读
机器视觉火了,三大问题如何解决?

智能交互应用落地多领域逐步替代人工或成趋势

作为最热门话题的人工智能几乎每届互联网大会都会被业界大佬提及,过去其应用场景更多体现在人脸识别的简单....
发表于 10-16 15:39 88次 阅读
智能交互应用落地多领域逐步替代人工或成趋势

如何在LUA脚本中使用的定时器循环设置教程免费下载

本文将介绍在 LUA 脚本中使用定时器循环设置按钮的状态。在按下按钮后,定时器启动,定时器以设定的时....
发表于 10-16 08:00 55次 阅读
如何在LUA脚本中使用的定时器循环设置教程免费下载

机器学习教程的中文笔记免费下载

Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为,以获取新的知识....
发表于 10-16 08:00 61次 阅读
机器学习教程的中文笔记免费下载

Matlab工具箱应用指南信息工程篇PDF电子书免费下载

20 世纪60 年代以来随着计算机和信息科学的飞速发展信号处理逐渐发展成一门独立的学科成为信息科学的....
发表于 10-15 16:31 70次 阅读
Matlab工具箱应用指南信息工程篇PDF电子书免费下载

OpenCV库的特点和主要功能及实现光流方法的运动说明

序列图像的光流计算是计算机视觉研究领域运动估计的重要组成部分。本文介绍了OpenCV库的特点和主要功....
发表于 10-15 11:56 75次 阅读
OpenCV库的特点和主要功能及实现光流方法的运动说明

OpenCV如何在图像上绘制出矩形并标出起点的坐标详细资料说明

涉及到两方面的内容:1. 用鼠标画出矩形。2.在图像上绘制出点的坐标1. 用鼠标绘制矩形,涉及到鼠标....
发表于 10-15 11:54 69次 阅读
OpenCV如何在图像上绘制出矩形并标出起点的坐标详细资料说明

老人家不怕摔,信安智囊黑科技有妙招!

10月7日,正值一年一度的中国传统节日重阳节,为弘扬中华民族感恩敬老的传统美德,深圳市社会福利中心老....
发表于 10-14 22:00 243次 阅读
老人家不怕摔,信安智囊黑科技有妙招!

在未来AI视频的市场应用将非常广泛

商汤科技与日本最大海运公司商船三井株式会社(MOL)达成了合作,共同开发新型船舶影像识别和记录系统,....
发表于 10-14 15:24 88次 阅读
在未来AI视频的市场应用将非常广泛

更加准确的天气数据如何提高安全性和能源效率

预防中暑:日本的研究人员正在结合解剖学模型、核心温度算法、热调节反应模型、太阳辐射模型和天气数据,以....
的头像 IEEE电气电子工程师学会 发表于 10-13 16:58 251次 阅读
更加准确的天气数据如何提高安全性和能源效率

未来与人工智能的结合将会是什么样子

人工智能已经有了自己的想法了。AlphaGo就有自己的想法。首先,AlphaGo不仅仅是一个深度学习....
发表于 10-13 08:56 82次 阅读
未来与人工智能的结合将会是什么样子

不同于人工智能领域的深度学习或将成为趋势

深度学习不是教育学独有的概念。事实上,这一概念滥觞于20世纪50年代计算机科学的人工智能研究。195....
发表于 10-12 11:50 88次 阅读
不同于人工智能领域的深度学习或将成为趋势

可编辑神经网络有什么积极意义

在这种情况下进行编辑意味着在不影响其他输入的情况下,更改输入对子集的模型预测(与错误分类的对象相对应....
发表于 10-12 11:11 72次 阅读
可编辑神经网络有什么积极意义

融合人类与AI的创造力带来什么积极意义

这些网络被称为AttoNets,用于图像分类和实体划分,但也可以作为视频动作识别、视频姿态估计、图像....
发表于 10-12 11:02 59次 阅读
融合人类与AI的创造力带来什么积极意义

如何使用BP神经网络实现PID参数的在线整定及MATLAB仿真

PID 控制算法简单、应用广泛,既能消除余差,又能提高系统的稳定性,但其P 环节、I 环节、D 环节....
发表于 10-11 16:06 106次 阅读
如何使用BP神经网络实现PID参数的在线整定及MATLAB仿真

一个AI创业者看《投资人逃离人工智能》

这篇文章无论是从叙事、举证、事实分析还是结论启发都句句有声、层层推进,确实能够给朋友们带来冲击。作为....
的头像 倩倩 发表于 10-10 14:52 1045次 阅读
一个AI创业者看《投资人逃离人工智能》

人工智能如何助力4S店解决卖车难?

渐进式改良路线已不能满足负增长时代下的营销需求,结合了知识图谱、语义理解、深度学习等技术的智慧外呼服....
的头像 倩倩 发表于 10-10 14:46 407次 阅读
人工智能如何助力4S店解决卖车难?

人工智能课,在中学里教些什么?

丰富的课程和领域离不开师资力量的支撑。13位专职教师,其中7位是博士,多数毕业于计算机、自动控制、机....
的头像 倩倩 发表于 10-10 11:41 395次 阅读
人工智能课,在中学里教些什么?

神经网络的参数是如何来设定的

网络输入层神经元节点数就是系统的特征因子(自变量)个数,输出层神经元节点数就是系统目标个数。
发表于 10-09 16:08 76次 阅读
神经网络的参数是如何来设定的

神经网络加速器开始被重视的原因是什么

自从以深度学习为代表的神经网络算法的精度大大提升以后,人工智能开始终于又再次火了起来,且有席卷全球之....
发表于 10-09 16:05 153次 阅读
神经网络加速器开始被重视的原因是什么

“深视创新”宣布获得千万级人民币Pre-A轮融资

他详细解释说,表面瑕疵检测一直是机器视觉检测行业的难点与空白,在AI技术介入前几乎没有企业愿意投入技....
的头像 倩倩 发表于 10-09 15:12 351次 阅读
“深视创新”宣布获得千万级人民币Pre-A轮融资

人工智能企业银河水滴宣布获得一项步态识别新专利

 该方法对场景变化、着装变化、图像视频的角度、行走状态都有很强的适应性,特别适合解决动态背景下的步态....
的头像 倩倩 发表于 10-09 14:28 325次 阅读
人工智能企业银河水滴宣布获得一项步态识别新专利

如果人工智能超越人类后我们该何去何从

人工智能是21世纪以来,人类最伟大的发明之一。它带给了人类诸多便利,但是,霍金却十分担忧它的隐患。2....
发表于 10-09 10:59 102次 阅读
如果人工智能超越人类后我们该何去何从

关于正弦函数和余弦函数的计算公式详细说明

本文档的主要内容详细介绍的是关于正弦函数和余弦函数的计算公式详细说明。
发表于 10-08 08:00 148次 阅读
关于正弦函数和余弦函数的计算公式详细说明