新方法可自动搜索新算法，仅利用基本的数学公式

市面上的自动机器学习算法多如牛毛，但并没有得到很好的普及，因为这些算法限制了搜索的空间，很多研究者还是需要自己设计机器学习模型的结构，而谷歌此次发布的AutoML-Zero搜索空间完全没有限制，可以从最基础的数学公式开始。「新智元急聘主笔、编辑、运营经理、客户经理，添加HR微信（Dr-wly）了解详情。」

AutoML 试图将特征工程、模型选择、参数调节这些与特征、模型、优化、评价有关的重要步骤进行自动化地学习，使得机器学习模型无需人工干预即可生成。谷歌这次提出的方法跟以往的有何不同呢？

新方法可自动搜索新算法，仅利用基本的数学公式

Automl-Zero 旨在自动发现机器学习算法，从空的或随机的程序开始，只使用基本的数学运算。它可以同时无偏好地搜索机器学习算法的所有方面，包括模型结构和学习策略。

尽管 Automl-Zero 的搜索域很广，但进化搜索看起来表现不错，通过搜索发现了线性回归、带有反向传播的双层神经网络，甚至是超过手工设计的复杂度相当的基线算法。

上面的图显示了我们实验中的一个例子，可以看到演化算法是如何来一步步解决二分类任务的。首先是个线性模型，没有任何优化方法，然后逐步发现了 SGD 来进行优化，接着开始加入随机的学习率，再往后发现了ReLU激活函数，随机权重初始化，梯度归一化等等，越来越接近我们手工设计的网络结构和优化方法。

几乎从零开始，跟传统的组装型自动机器学习区别很大

我们手工构建一个典型的机器学习模型，要经过以下几个步骤，数据预处理、模型构建、学习、预测，而 AutoML-Zero 的工作原理，可以简单理解为将各个步骤涉及的基本数学方法放在一个篮子里，然后随机从篮子取出放在对应的步骤，利用进化搜索，不断得到最优的组合。

AutoML-Zero 跟之前的自动机器学习有什么异同呢？之前的自动学习主要集中在体系结构上，它依赖于专家设计的复杂层作为构建块——或类似的限制性搜索空间。我们的目标是证明 AutoML 可以走得更远： 只需使用基本的数学运算作为构建块，来发现一个完整的机器学习方法， 我们通过引入一个新的框架来证明这一点，在这个搜索空间中可以显著减少人类经验的偏见，发现一些有趣的东西。

我们用 auto-sklearn 来解释下传统的自动机器学习所使用的方法，对细节感兴趣的同学可以看下这篇论文。

作者开发了一个基于 scikit-learn 的强大的新 AutoML 系统（使用 15 个分类器，14 个特征预处理方法和 4 种数据预处理方法，从而产生具有 110 个超参数的结构化搜索空间）。这个系统是在有限的参数空间中，通过自动对比在类似数据集上的性能，以及评估这些自动构造的模型性能，来实现自动搜索最优的机器学习方法。

如何用Python实现传统的AutoML

到这里你应该理解了，AutoML-Zero 的普适性更强一些，可以发现未知的机器学习方法，而 auto-sklearn 只是在现有的结构和参数中自动找到最优的。

我们用 Python 来举个简单的例子：

import autosklearn.classificationimport sklearn.model_selectionimport sklearn.datasetsimport sklearn.metricsX， y = sklearn.datasets.load_digits（return_X_y=True）X_train， X_test， y_train， y_test = sklearn.model_selection.train_test_split（X， y， random_state=1）AutoML = autosklearn.classification.AutoSklearnClassifier（）AutoML.fit（X_train， y_train）y_hat = AutoML.predict（X_test）print（“Accuracy score”， sklearn.metrics.accuracy_score（y_test， y_hat））

如果想亲自动手实验的话可以安装 Anaconda ，它集成了所需要的大部分Python科学计算库，然后通过conda安装 auto-sklearn。