BP神经网络
首先给出只包含一个隐层的BP神经网络模型(两层神经网络):
BP神经网络其实由两部分组成:
- 前馈神经网络:神经网络是前馈的,其权重都不回送到输入单元,或前一层输出单元(数据信息是单向传播的,不会回流),区别于循环神经网络RNN。
- BP算法(Back Propagation):误差反向传播算法,用于更新网络中的权重。
BP神经网络思想:
- 表面上:1. 数据信息的前向传播,从输入层到隐含层,最后到输出层。2. 误差的反向传播:输出结果与真实结果的误差值,从输出层传递到隐含层,最后到输入层。
- 本质上:针对每个输入样本,采用随机梯度下降算法,动态更新网络中的权重和偏倚,以使网络的输出不断地接近期望的输出。
BP神经网络算法推导(更新权重和偏倚):
从上面推导可以发现:
对于任意从神经元i(输出神经元/隐层神经元)至 神经元j(隐层神经元/输出层神经元)的权重w ijwijw_{ij},其权重更新量Δw ijΔwijDelta w_{ij}=学习步长η ηeta × × imes 前一层神经元的输出(x ixix_{i} 或y jyjy_{j})× × imes 后一层神经元(y jyjy_{j}或o koko_{k})的误差
神经元偏倚的变化量:ΔΘ ΔΘ Delta Theta=学习步长η ηeta × × imes 乘以神经元的误差
BP神经网络算法过程
网络的初始化:包括权重和偏倚的初始化
计算隐含层的输入输出
计算输出层的输入输出
误差的计算:隐层和输出层的误差
权值的更新:1. 输入层—隐层。2. 隐层—输出层
偏倚的更新:神经元的步长η ηeta × × imes 相应的误差err
判断算法迭代是否结束:1.超过迭代次数,2.相邻的两次误差之间的差别小于阈值等。
误差的反向传播描述
反向传播过程是这样的:输出层每个节点都会得到一个误差e(d k −o kdk−okd_{k}-o_{k}),把e作为输出层反向输入,这时候就像是输出层当输入层一样把误差往回传播,先得到输出层误差err kerrkerr_{k},然后将输出层err kerrkerr_{k}根据连接权重往隐层传输,得到隐层误差err jerrjerr_{j}。具体如下图所示(画的有点难看,将就看吧。。)
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
神经网络
+关注
关注
42文章
4562浏览量
98645 -
BP神经网络
+关注
关注
1文章
83浏览量
30422
发布评论请先 登录
相关推荐
BP神经网络算法的基本流程
训练经过约50次左右迭代,在训练集上已经能达到99%的正确率,在测试集上的正确率为90.03%,单纯的BP神经网络能够提升的空间不大了,但kaggle上已经有人有卷积神经网络在测试集达到了99.3%的准确率。
发表于 03-20 09:58
•267次阅读
人工神经网络和bp神经网络的区别
人工神经网络和bp神经网络的区别 人工神经网络(Artificial Neural Network, ANN)是一种模仿人脑神经元网络结构
卷积神经网络和深度神经网络的优缺点 卷积神经网络和深度神经网络的区别
深度神经网络是一种基于神经网络的机器学习算法,其主要特点是由多层神经元构成,可以根据数据自动调整神经元之间的权重,从而实现对大规模数据进行预
发表于 08-21 17:07
•2222次阅读
卷积神经网络算法流程 卷积神经网络模型工作流程
卷积神经网络算法流程 卷积神经网络模型工作流程 卷积神经网络(Convolutional Neural Network,CNN)是一种广泛应用于目标跟踪、图像识别和语音识别等领域的深
卷积神经网络算法代码matlab
卷积神经网络算法代码matlab 卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习网络模型,其特点是具有卷积层(Convolutional
卷积神经网络算法三大类
卷积神经网络算法三大类 卷积神经网络(Convolutional Neural Network,简称CNN)是一种常用的人工神经网络,它的主要应用领域是图像识别和计算机视觉方面。CNN
卷积神经网络算法有哪些?
卷积神经网络算法有哪些? 卷积神经网络(Convolutional Neural Network, CNN) 是一种基于多层感知器(multilayer perceptron, MLP)的深度学习
卷积神经网络算法原理
卷积神经网络算法原理 卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习(Deep Learning)的模型,它能够自动地从图片、音频、文本等数据中提
卷积神经网络算法比其他算法好吗
卷积神经网络算法比其他算法好吗 卷积神经网络(Convolutional Neural Networks, CNN)是一种用于图像识别和处理等领域的深度学习
卷积神经网络的介绍 什么是卷积神经网络算法
卷积神经网络的介绍 什么是卷积神经网络算法 卷积神经网络涉及的关键技术 卷积神经网络(Convolutional Neural Networ
卷积神经网络原理:卷积神经网络模型和卷积神经网络算法
卷积神经网络原理:卷积神经网络模型和卷积神经网络算法 卷积神经网络(Convolutional Neural Network,CNN)是一种
bp神经网络的原理 用BP神经网络去识别图片上的字符
摘 要 本文主要讲述了如何用BP神经网络去识别图片上的字符。该系统主要处理晶振表面字符的识别。在识别之前要对图像进行一系列的处理,即图像的预处理。预处理主要包含,二值化、锐化、噪声去除、字符
发表于 07-18 17:20
•1次下载
bp神经网络的原理 基于BP神经网络的人口预测
数据, 在灰色预测的基础上, 引入BP神经网络模型, 建立了中国人口增长的GM(1,1)和BP神经网络组合模型, 并由此对中国人口增长的中短期和长期趋势做出预测。 我们通过输入原始数
发表于 07-18 15:19
•0次下载
评论