神经网络分类

神经网络分类

1、BP神经网络

BP（BackPropagation）神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。

2、RBF（径向基）神经网络

径向基函数（RBF-RadialBasisFunction）神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络，它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-ReceptiveField）的神经网络结构，因此，RBF网络是一种局部逼近网络，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。

3、感知器神经网络

是一个具有单层计算神经元的神经网络，网络的传递函数是线性阈值单元。原始的感知器神经网络只有一个神经元。主要用来模拟人脑的感知特征，由于采取阈值单元作为传递函数，所以只能输出两个值，适合简单的模式分类问题。当感知器用于两类模式分类时，相当于在高维样本空间用一个超平面将两类样本分开，但是单层感知器只能处理线性问题，对于非线性或者线性不可分问题无能为力。假设p是输入向量，w是权值矩阵向量，b为阈值向量，由于其传递函数是阈值单元，也就是所谓的硬限幅函数，那么感知器的决策边界就是wp+b，当wp+b〉=0时，判定类别1，否则判定为类别2。

4、线性神经网络

线性神经网络是比较简单的一种神经网络，由一个或者多个线性神经元构成。采用线性函数作为传递函数，所以输出可以是任意值。线性神经网络可以采用基于最小二乘LMS的Widrow－Hoff学习规则调节网络的权值和阈值，和感知器一样，线性神经网络只能处理反应输入输出样本向量空间的线性映射关系，也只能处理线性可分问题。目前线性神经网络在函数拟合、信号滤波、预测、控制等方面有广泛的应用。线性神经网络和感知器网络不同，它的传递函数是线性函数，输入和输出之间是简单的纯比例关系，而且神经元的个数可以是多个。只有一个神经元的线性神经网络仅仅在传递函数上和感知器不同，前者是线性函数的传递函数，后者是阈值单元的传递函数，仅此而已。

5、自组织神经网络

在生物神经细胞中存在一种特征敏感细胞，这种细胞只对外界信号刺激的某一特征敏感，并且这种特征是通过自学习形成的。在人脑的脑皮层中，对于外界信号刺激的感知和处理是分区进行的，有学者认为，脑皮层通过邻近神经细胞的相互竞争学习，自适应的发展称为对不同性质的信号敏感的区域。根据这一特征现象，芬兰学者Kohonen提出了自组织特征映射神经网络模型。他认为一个神经网络在接受外界输入模式时，会自适应的对输入信号的特征进行学习，进而自组织成不同的区域，并且在各个区域对输入模式具有不同的响应特征。在输出空间中，这些神经元将形成一张映射图，映射图中功能相同的神经元靠的比较近，功能不同的神经元分的比较开，自组织特征映射网络也是因此得名。

自组织映射过程是通过竞争学习完成的。所谓竞争学习是指同一层神经元之间相互竞争，竞争胜利的神经元修改与其连接的连接权值的过程。竞争学习是一种无监督学习方法，在学习过程中，只需要向网络提供一些学习样本，而无需提供理想的目标输出，网络根据输入样本的特性进行自组织映射，从而对样本进行自动排序和分类。

自组织神经网络包括自组织竞争网络、自组织特征映射网络、学习向量量化等网络结构形式。

6、反馈神经网络

前面介绍的网络都是前向网络，实际应用中还有另外一种网络——反馈网络。在反馈网络中，信息在前向传递的同时还要进行反向传递，这种信息的反馈可以发生在不同网络层的神经元之间，也可以只局限于某一层神经元上。由于反馈网络属于动态网络，只有满足了稳定条件，网络才能在工作了一段时间之后达到稳定状态。反馈网络的典型代表是Elman网络和Hopfield网络。