神经网络和深度学习的一些重要趋势

神经网络的基本思想是模拟计算机“大脑”中的多个互连细胞，使它能够从环境中学习，识别不同的模式，通俗一点来说就是模仿人类的思维模式进行决策。

一个基本神经网络包含数百万个被称为单元的人工神经元。这些单元分层排列，每一层都互相连接。

单元划分为如下几部分：

输入单元——用于接受外部环境的信息。

隐藏单元——最终输入到输出单元。每个隐藏单元都是其输入的压缩线性函数。

输出单元——这些信号表示网络应如何响应最近获取的信息。

大多数神经网络都是互相连接的，这意味着每个隐藏单元和每个输出单元都连接到层另一边的每个单元上。每个单元之间的连接称为“重量”。重量可以是正的，也可以是负的，这取决于它对另一单元的影响程度。较高的权重对互连单元具有更高的权限。

当神经网络被训练时，或者在训练之后刚开始运行时，使用不同的输入单元将不同的信息模式馈送到网络中。这些信息将触发隐藏组的层，然后到达输出单元。这被称为前馈网络，是常用的设计之一。

当您使用训练模型对神经网络进行了充分训练后，它会达到一个阶段，在该阶段会呈现一组全新的输入，这些输入在训练阶段没有遇到，且它可以预测出令人满意的输出。

以下是当今神经网络和深度学习的一些重要趋势。

胶囊网络（Capsule Networks）

胶囊网络是深度神经网络的一种新兴形式。它模仿人类大脑的方式处理信息。这意味着胶囊网络可以维持层次关系。

这与卷积神经网络形成对比。尽管卷积神经网络是迄今为止使用最广泛的神经网络之一，但它们没有考虑简单及复杂对象之间存在的关键空间层次结构，这导致了高错误率。

在进行简单的识别任务时，胶囊网络能够降低错误率，实现了更高的准确度，同时它们也不需要大量的培训模型数据。

卷积神经网络（CNN）

卷积神经网络已存在很多年，是一种前馈神经网络。它启发于生物的发展过程，特别是人类大脑对眼睛里接收到的信号的理解过程。目前，现有技术的视觉识别系统使用CNN算法来执行图像分类，定位和对象检测。

随着社会发展，人们对卷积神经网络的兴趣也发生了转移，目前它被广泛应用于智能监控系统、社交网络图片标记和图像分类、机器人、无人机和自动驾驶汽车。谷歌，亚马逊，Facebook等数据科学家使用它来进行各种图像过滤和分类。

与卷积神经网络密切相关的领域是计算机视觉的深度学习，两个常见的应用：条形码扫描仪、面目识别。为了深入学习计算机视觉，市场上也相继出现了大量的平台，例如Google的Vision API，Allegro.ai，Missinglink.ai等。

深度强化学习（DRL）

深度强化学习是神经网络的一种形式，深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。一个著名的成功应用案例就是AlphaGo围棋机器人，AlphaGo是第一个击败人类职业围棋选手、第一个战胜围棋世界冠军的人工智能机器人。

DRL是开发业务应用程序中的通用技术之一。对于训练模型，它需要更少的数据。且它的另一个优点是可以通过模拟来训练它，这完全消除了对标记数据的需求。

精益学习

到目前为止，机器学习，特别是深度学习最大的障碍就是用于训练神经模型的大量标记数据的可用性问题。这两种技术可以帮助解决这个问题——合成新数据并将任务A和训练模型转移到任务B。

像转移学习（将学习从一个任务转移到另一个任务）或单次学习（在只有一个或没有相关示例的情况下进行学习）这样的技术使它们成为精益数据学习技术。同样，当使用插值或模拟来合成新数据时，它有助于获得更多训练数据。ML专家通常将此称为增加现有数据来改进学习的方法。

此类技术可用于解决更广泛的问题，尤其是较少历史数据的情况下。

监督模型

监督模型是一种学习形式，其从先前标记的训练数据推断出特定功能。它使用监督学习算法，该算法包含一组带有相应标记正确输出的输入。

标记的输入和标记的输出进行比较。鉴于两者之间的差异，您可以计算错误值，然后使用算法来学习输入和输出之间的映射。

这里的最终目标是近似映射函数，如果接收到新的输入数据，则可以预测准确的输出数据。类似于教师监督学习过程，当算法达到令人满意的性能或准确度时，学习过程停止。

具有内存模型的网络

人类和机器的一个重要的区别就是谨慎工作和思考的能力。毫无疑问，计算机可以预先编程，以极高的精度完成特定的任务。但是，如果您将计算机放于不同的环境中工作，相应的问题就会出现。

想要提升机器对环境的适应能力，神经网络必须能够在不遗忘的情况下连续学习任务。神经网络必须能够利用许多不同的强大架构来克服灾难性遗忘。包括：

长期内存网络：可以处理和预测时间序列

弹性权重合并算法，可以根据先前完成的任务定义的优先级减慢学习速度

不受灾难性遗忘影响的渐进式神经网络能够从已经学过的网络中提取有用的特征，以用于新的任务。

混合学习模型

各种类型的深度神经网络，包括GAN和DRL，在涉及其性能和不同类型数据的广泛应用方面已表现出很不错的发展前景。也就是说，深度学习模型无法以贝叶斯或概率方法的方式对不确定性进行建模。

混合学习模型可以将这两种方法结合并利用每种方法的强度。这种混合模型的一些示例包括贝叶斯GAN和贝叶斯条件GAN。

混合学习模型可对解决业务问题的领域进行扩展，包括不确定性的深度学习。这将提高性能和模型的可解释性，获得更广泛的应用。