AI的人工神经网络

人工智能，深度学习和机器学习，不论你现在是否能够理解这些概念，你都应该学习。否则三年内，你就会像灭绝的恐龙一样被社会淘汰。

——马克·库班（NBA小牛队老板，亿万富翁）

我们正经历一场大革命，这场革命就是由大数据和强大电脑计算能力发起的。

人工智能的底层模型是"神经网络"（neural network）。许多复杂的应用（比如模式识别、自动控制）和高级模型（比如深度学习）都基于它。学习人工智能，一定是从它开始。

人工神经网络

人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示：

从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；

轴突：

是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；

树突：

是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；

突触：

神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。

对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。

突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。

神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。

神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。

而人工神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。

人工神经网络具有四个基本特征：

（1）非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性一个神经网络通常由多个神经元广泛连接而成。

一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。

（3）非常定性人工神经网络具有自适应、自组织、自学习能力。

神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。

例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。

人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。

典型神经网络

当前最常见的几种神经网络分别是感知器网络、BP网络、柯荷伦网络、竞争网络，这几种网络各具特点。

1、感知器

感知器的工作原理是使用直线、平面等切割平面或立体空间，将这些平面或空间分成若干不同的区域，以达到对输入信号进行分类的目的。感知器在使用前，需要先进行训练。训练感知器的主要目的是调整它的权值。训练感知器时，通过选择典型的输入类型，这些输入需要能代表所有的输入类型，然后将这些数据输入到感知器中对感知器进行训练。训练之后，感知器网络的节点数及权值得到了调整。当感知器训练完成之后，就可以进行工作了。

2、BP 网络

BP 网络是当前使用得最多的一种神经网络，它的主要功能是对非线性有理函数进行逼近，以满足对非线性系统的控制作用。一般使用最速下降法对 BP 网络进行训练，将误差反向传播，当有大量的数据通过 BP 网络时，网络的权值和阈值得到调整，并使得网络的误差系数降低到最小。下式是不含反馈的神经网络的输入与输出关系：

以上表达式不能表示具有反馈方式的神经网络，如果需要表示 BP 网络，还需要对上式加入反馈部分，如下式所示：

当训练结束之后，此神经网络即是 BP 网络，它就可用于对非线性系统的控制。它将输出反馈到输入，作为输入的一部分，以达到对系统权值的持续调整，消除非线性影响的作用。

3、竞争网络

竞争网络一般用于对大量具有典型特征的数据进行分类，它是一种单层网络，包括输入层和竞争层，输入层和竞争层共用一个权值函数。竞争网络的训练和工作并未像其它神经网络那样明确分开，而是在工作的过程中实现对网络的训练。它的训练方式是无监督式的，训练过程是通过竞争，将获胜节点的权值进行调整，从而使网络的输出于输入间的误差逐渐减小，在这个竞争过程中，就可以通过输出的不同，而将输入分成不同的类型，以实现自动分类的功能。

4、柯荷伦网络

为了实现对具有概率分布模式的数据进行分类，可以利用柯荷伦网络模型。柯荷伦网络网络模型与普通的网络模型很相似，它的不同之处在与它在训练过程中对节点的调整方法的区别。柯荷伦网络模型对节点的调节方式与竞争网络的比较相似，都是通过竞争来确定需要调整的网络节点，竞争网络只需要调整竞争获胜的节点，而柯荷伦网络除了需要调整竞争获胜的网络节点，还需要调整获胜节点的临近节点。

BP 网络在智能系统中的应用

1、联想记忆

在信号处理、语音和图像识别等领域，当输入数据具有干扰或需要网络具有纠错能力时，就需要网络能够识别出这种错误，并将其纠正过来。为了能得到具有这种功能的神经网络，可以先将识别对象转换成网络的平衡节点，通过调整节点的权值，使其记住这些目标。然后再通过不断对网络输入学习数据，使其不断进行联想，最终使目标模型的特征收敛到网络的平衡节点上。例如在进行文字处理时，为了能是神经网络具有识别出错误文字的功能，可先将特定模型的文字转化成网络平衡节点，然后在对网络输入正确的文字，在不断的训练过程中，网络就能实现对错误输入的识别作用。

2、优化计算

霍普菲尔德的网络稳定性判别函数以能量为基础。当系统不稳定时，能量会逐渐减小，并最终趋于稳定。在大规模电力线路的设计过程中，为了使设计的电子线路系统最优，就需要对设计不断进行优化。通过对系统网络进行分析，求解出网络的最优参数之后，将这些参数转换成神经网络中的平衡节点。在对神经网络进行训练之后，网络就可以通过不断循环优化，最终设计出一个最优电子线路系统。

3、影像处理

在人造成像系统中，无论是光学成像，还是声波成像，以及电磁波成像，由于在对影像进行采集和处理的系统一般是数字系统，并且数字信号本身比模拟信号具有更强的抗噪能力，在采集和处理过程中，必须先对影像资料进行数字化处理，将模拟信号转换成数字信号。因此，最终采集到的影像资料都是不连续的。

当前对影像数据的处理主要包括：处理因焦距问题而产生的影像模糊；影像噪声含量较多时将噪声处理掉；使用边缘检测的方法，得到图像的特殊属性。影像处理所涉及的领域也非常宽广，如对影像进行分类、在医学中对药物反应的影像进行分析等。

在对图像处理的研究中，主要出现过线性鉴别、遗传网络、counter-propagation network 三种主要的处理方法，经过比较其处理结果，发现利用遗传网络进行处理的性能最好。

神经网络对图像进行处理的步骤如下：将原始图像输入到网络中；利用特征提取的方法得到图像自身的属性；对图像特征进行分类；将这些处理结果作为训练资料或数据输入到神经网络中，通过神经网络的自动分辨功能，分辨出图形结果。

在实际使用时，先对神经网络进行训练，再将神经网络投入到实际应用中。利用神经网络进行图像处理具有诸多实际应用意义，也是当前研究的一个热点方向。在Google 地图、对天文图像的处理及网络图像分析等领域，由于资料十分庞大，利用人工进行处理，显然是不切实际的。为了能快速的得到所需的图像特征，查找出需要的图像资料，利用神经网络进行图像处理，无疑是最好的选择。

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。