深度学习+强化学习=人工智能

人工智能早已不是一个新名词，它的发展历史已经有几十年。从80年代早期开始，当时计算机科学家设计出可以学习和模仿人类行为的算法。在学习方面，最重要的算法是神经网络，但由于模型过于强大，没有足够的数据支持，导致不是很成功。然而，在一些更具体的任务中，使用数据来适应函数的想法获得了巨大的成功，这也构成了机器学习的基础。在模仿方面，人工智能在图像识别、语音识别和自然语言处理方面有着广泛的应用。专家们花费了大量时间去创建边缘计算，彩色型材，N-gram语言模型，语法树等，不料所获成绩平平。

传统的机器学习

机器学习（ML）技术在预测中发挥了重要作用，机器学习已经经历了多代，有一套完备的模型结构，如：

• 线性回归

• Logistic回归

• 决策树

• 支持向量机

• 贝叶斯模型

• 正则化模型

• 集成模型

• 神经网络

每一个预测模型都基于一定的算法结构，参数可进行调整。训练预测模型涉及以下步骤：

1.选择模型结构（例如，逻辑回归、随机森林等）。

2.用训练数据（输入和输出）对模型进行反馈。

3.学习算法将输出最优模型（即具有特定参数的模型，使训练误差最小化）。

每个模型都有自己的特点，在某些任务中表现很好，在其他方面也却不尽人意。但一般来说，我们可以把它们分为低功耗（简单）模型和大功率（复杂）模型。在不同的模型之间进行选择是一个非常棘手的问题。传统上，使用低功耗/简单模型比使用高功率/复杂模型要好，原因如下：

· 在我们拥有大量的处理能力之前，训练高功率模型需要花费很长时间。

· 直到我们有一个庞大的数据量，培养高功率模型会导致过拟合问题（由于高功率模型具有丰富的参数，可以适应多种数据的形状，我们可能最终会训练出一个与当前训练数据非常相关的模型，而不是对未来数据进行预测）。

然而，选择低功耗模型存在着所谓的”欠拟合”问题，即模型结构过于简单，无法在较复杂的情况下适应训练数据。（假设下面的数据有一个二次关系：y=5*X的平方;没有方法可以拟合一个线性回归：y=A，B，B，B，无论我们选择什么样的A和B。）

为了减轻”不适合的问题”，数据科学家通常会应用他们的”领域知识”来产生”输入特性”，它与输出有更直接的关系。（例如，返回到二次关系y=5*X的平方），然后通过选取a=5和b=0，拟合线性回归。

机器学习的一个主要障碍是这个特征工程步骤，它要求领域专家在进入培训过程之前识别重要的信号。特征工程步骤非常手工，需要大量的领域专门知识，因此成为当今大多数机器学习任务的主要瓶颈。换句话说，如果我们没有足够的处理能力和足够的数据，那么我们必须使用低功耗/简单的模型，这需要我们花大量的时间和精力来创建适当的输入特性。这是大多数数据科学家花时间做的事情。

神经网络的回归

在2000年代早期，随着大容量数据时代大量的细粒度事件数据的收集，随着云计算和大规模并行处理基础设施的进步，机器处理能力得到了极大的提高。我们不再局限于低功耗/简单的模型。例如，当今最流行的两种主流机器学习模型是随机森林和梯度增强树。然而，尽管它们都非常强大，并提供非线性模型拟合训练数据，数据科学家仍然需要仔细地创建功能，以达到良好的性能。

与此同时，计算机科学家重新使用了许多层的神经网络来完成这些人类模拟任务。这给新出生的DNN（深度神经网络）在图像分类和语音识别的任务提供了一个重大的突破。

DNN的主要区别是，你可以发出原信号，（例如，RGB像素值）直接到DNN没有创造任何特定于域的输入特征。通过多层次的神经元（这就是为什么它被称为”深”的神经网络），能够自动生成相应的功能，通过各层最后提供了一个很好的预测。这大大节省了”特征工程”的努力，也是数据科学家遇到的一个主要瓶颈。

DNN也演变成许多不同的网络结构，所以我们美国有线电视新闻网（卷积神经网络），RNN（神经网络）、LSTM（长短期记忆）、GAN（生成对抗网络），迁移学习，注意模型…整个光谱被称为”深度学习”，这是当今全机器学习界关注的焦点。

强化学习

另一个关键的部分是如何模仿一个人（或动物）学习。想象一下感知/行为/奖赏周期的非常自然的动物行为。一个人或动物首先会通过感知他或她处于什么状态来理解环境。基于这一点，他或她会选择一个”动作”把他或她带到另一个”状态”，然后他或她会得到一个”奖励”，如此循环重复。

这种学习方法（称为强化学习）与传统的有监督机器学习的曲线拟合方法有很大的不同。特别是，强化学习的发生非常迅速，因为每一个新的反馈（如执行一个动作和获得一个奖励）立即被发送来影响随后的决定。强化学习已经获得了巨大的成功在自动驾驶汽车以及AlphaGO（下棋机器人）。

强化学习也提供了一个平滑的预测和优化集成，因为它保持一个信念的当前状态和可能的转移概率时采取不同的行动，然后作出决定，哪些行动会带来最好的结果。

深度学习+强化学习=人工智能

与经典机器学习技术相比，深度学习提供了一个更强大的预测模型，通常能产生良好的预测。与经典的优化模型相比，强化学习提供了更快的学习机制，并且更适应环境的变化。