机器学习和深度学习是什么关系

什么是学习？

机器学习和深度学习中都有“学习”两字，我们首先要理解什么是“学习”。著名的赫伯特·西蒙教授（Herbert Simon）是1975年图灵奖获得者、1978年诺贝尔经济学奖获得者，这位大牛曾对“学习”下过一个定义“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习”。大师永远都是言简意赅，一针见血，我们从西蒙教授下的定义可以看出“学习的核心目的就是改善性能”。

其实不仅仅是对于机器，对于人而言这个定义也是适用的。我们从小就被教育要“好好学习，天天向上”，我们“学习”的目标是为了“向上”，如果没有性能上的“向上”，即使非常辛苦地“好好”，即使长时间地“天天”，都无法算作“学习”。如果我们仅仅是低层次的重复性学习，而没有达到认知升级的目的，那么即使表面看起来非常勤奋，其实也只是一个“伪学习者”，因为我们没有改善性能。

下面我们就一起继续“好好学习”机器学习和深度学习的知识，我们目的就是为了提升自己在机器学习和深度学习上的认知水平。

2、人工智能、机器学习、和深度学习是什么关系？

先抛出结论，机器学习（Machine Learning，ML）是人工智能（Artificial Intelligence，AI）的一个分支，深度学习（Deep Learning，DL）是ML中的一个子集，或者说，机器学习是实现人工智能的一种方法，而深度学习仅仅是实现机器学习的一种技术。

下面我们来仔仔细细“学习”一下AI、ML、DL这三个概念

（1）人工智能：AI表示机器模仿人类通常表现出的智能行为的任何活动，这是一个非常大的研究领域，机器旨在复制认知能力，例如学习行为、与环境的主动交互、推理和演绎、计算机视觉、语音识别、问题求解、知识表示和感知；AI建立在计算机科学、数学和统计学以及心理学和其他研究人类行为的科学的基础上。建立AI有多种策略，在20世纪70年代和20世纪80年代，“专家”系统变得非常流行，这些系统的目标是通过用大量手动定义的if-then规则表示知识来解决复杂的问题，这种方法适用于非常特定的领域中的小问题，但无法扩展到较大的问题和多领域中，后来AI也在不断的改进，越来越关注基于统计的方法。

（2）机器学习：ML是AI的一个子学科，专注于教授计算机如何对特定任务进行学习而无须编程，ML背后的关键思想是可以创建从数据中学习并做出预测的算法。机器学习也分好多种，我们向大家介绍一下有监督学习，无监督学习，增强学习这几种。

有监督学习，向机器提供输入数据及期望输出，目的是从这些训练实例中学习，以使机器可以对从未见过的数据做出有意义的预测。

无监督学习，仅向机器提供输入数据，机器随后必须自己寻找一些有意义的结构，而无须外部监督或输入。

增强学习，机器充当代理，与环境交互。如果机器的行为符合要求，就会有“奖励”；否则，就会受到“惩罚”，机器试图通过学习相应地发展其行为来最大化奖励。

（3）深度学习：DL也是机器学习的一个子集，深度学习与传统的监督学习和无监督学习是有区分的，深度学习是高度数据依赖型的算法，它的性能通常是随着数据量的增加而不断增强的，也就是说深度学习的可扩展性显著优于传统的机器学习算法，但前提是有足够多、足够好的数据。

3、机器学习和深度学习的发展经过了哪几个阶段？ 如前文讨论的，作为人工智能的重要分支，机器学习主要研究的是如何使机器通过识别和利用现有知识来获取新知识和新技能。自20世纪80年代以来，机器学习已经在算法、理论和应用等方面都取得巨大成功，而被广泛应用于产业界与学术界。简单来说，机器学习就是通过算法使得机器能从大量历史数据中学习规律，从而对新的样本完成智能识别或对未来做预测；而深度学习是机器学习的一个分支和新的研究领域。如今在大数据的背景下可用数据量的激增、计算能力的增强以及计算成本的降低为深度学习的进一步发展提供了平台，同时也为深度学习在各大领域中的应用提供了支撑。 回顾历史机器学习的发展历程大致可以分为五个时期，而伴随着机器学习的发展，深度学习共出现三次浪潮。我们以机器学习的发展作为主线来介绍不同时期机器学习与深度学习之间的关系。

第一个时期从20世纪50年代持续至20世纪70年代，由于在此期间研究人员致力于用数学证明机器学习的合理性，因此称之为“推理期”。在此期间深度学习的雏形出现在控制论中，随着生物学习理论的发展与第一个模型的实现（感知机，1958年），其能实现单个神经元的训练，这是深度学习的第一次浪潮。

第二个时期从20世纪70年代持续至20世纪80年代，由于在这个阶段机器学习专家认为机器学习就是让机器获取知识，因此称之为“知识期”，在此期间深度学习主要表现在机器学习中基于神经网络的连接主义。

第三个时期从20世纪80年代持续至20世纪90年代，这个时期的机器学习专家主张让机器“主动”学习，即从样例中学习知识，代表性成果包括决策树和BP神经网络，因此称这个时期为“学习期”。在此期间深度学习仍然表现为基于神经网络的连接主义，而其中BP神经网络的提出为深度学习带来了第二次浪潮。其实在此期间就存在很好的算法，但由于数据量以及计算能力的限制致使这些算法的良好效果并没有展现出来。

第四个时期从20世纪初持续至21世纪初，这时的研究者们开始尝试用统计的方法分析并预测数据的分布，因此称这个时期为“统计期”，这个阶段提出了代表性的算法“支持向量机”，而此时的深度学习仍然停留在第二次浪潮中。

第五个时期从20世纪初持续至今，神经网络再一次被机器学习专家重视，2006年Hinton及其学生Salakhutdinov发表的论文《Reducing the Dimensionality of Data with Neural Networks》标志着深度学习的正式复兴，该时期掀起深度学习的第三次浪潮，同时在机器学习的发展阶段中被称为“深度学习”时期。此时，深度神经网络已经优于与之竞争的基于其他机器学习的技术以及手工设计功能的AI系统。而在此之后，伴随着数据量的爆炸式增长与计算能力的与日俱增，深度学习得到了进一步的发展。

机器学习和深度学习发展的漫漫长路

审核编辑：郭婷