破解自动化机器学习的黑匣子的具体详情

最近小茹姐发现破解自动化机器学习的黑匣子这个话题相信很多小伙伴们都很感兴趣吧，那么今天就带大家了解下破解自动化机器学习的黑匣子的具体详情，那么小茹姐就来给大家说说具体的一些问题吧，希望对大家有所帮助。

麻省理工学院和其他地方的研究人员已经开发了一种交互式工具，该工具首次使用户可以查看和控制自动化机器学习系统的工作方式。目的是建立对这些系统的信心并找到改善它们的方法。

为特定任务（例如图像分类，疾病诊断和股票市场预测）设计机器学习模型是一个艰巨且耗时的过程。专家首先从许多不同的算法中进行选择以构建模型。然后，他们在模型开始训练之前手动调整“超参数”，这些“超参数”确定了模型的整体结构。

最近开发的自动机器学习（AutoML）系统反复测试和修改算法以及那些超参数，并选择最适合的模型。但是这些系统就像“黑匣子”一样运作，这意味着用户无法选择它们的选择技术。因此，用户可能不信任结果，并且会发现很难根据其搜索需求来定制系统。

麻省理工学院，香港科技大学和浙江大学的研究人员在ACM CHI计算系统中的人为因素大会上发表的论文中，描述了一种工具，该工具将AutoML方法的分析和控制应用到用户的计算机中。手。该工具称为ATMSeer，将AutoML系统，数据集和有关用户任务的一些信息作为输入。然后，它在一个用户友好的界面中可视化搜索过程，从而提供有关模型性能的深入信息。

麻省理工学院信息与决策系统实验室（LIDS）的首席研究科学家Kalyan Veeramachaneni说：“我们让用户选择AutoML系统是如何工作的。” “您可能只是选择性能最高的模型，或者您可能有其他考虑因素或使用领域专业知识来指导系统在某些模型之上寻找其他模型。”

在对作为AutoML新手的理科研究生进行的案例研究中，研究人员发现使用ATMSeer的参与者中约有85%对系统选择的模型充满信心。几乎所有参与者都说，使用该工具使他们将来足以使用AutoML系统。

电气工程和计算机科学系（EECS）的研究生Micah Smith说：“我们发现，打开黑匣子并查看并控制系统的运行方式，会使人们更倾向于使用AutoML。” LIDS研究人员。

“数据可视化是一种有效的方法，可以改善人机之间的协作。ATMSeer就是这个想法的例证。” “ ATMSeer将使受益于一定水平专业知识的机器学习从业者大为受益，无论他们来自哪个领域。它可以减轻手动选择机器学习算法和调整超参数的麻烦。”

在论文上与史密斯，韦拉玛卡尼尼和王一起加入的还有：科大的姚明，沉巧木，刘冬雨和曲华敏;和浙江大学的金志华。

新工具的核心是一个定制的AutoML系统，称为Veeramachaneni和其他研究人员于2017年开发的“ Auto-Tuned Models ”（ATM）。与传统的AutoML系统不同，ATM会在尝试拟合模型时对所有搜索结果进行完全分类数据。

ATM将任何数据集和编码的预测任务作为输入。系统随机选择算法类别（例如神经网络，决策树，随机森林和逻辑回归），以及模型的超参数，例如决策树的大小或神经网络层数。

然后，系统针对数据集运行模型，迭代调整超参数，并测量性能。它使用从该模型的性能中学到的知识来选择另一个模型，依此类推。最后，系统为任务输出几个性能最高的模型。

诀窍在于，每个模型实际上都可以视为具有几个变量的一个数据点：算法，超参数和性能。在这项工作的基础上，研究人员设计了一个系统，可以在指定的图形和图表上绘制数据点和变量。从那里，他们开发了一种单独的技术，该技术还使他们可以实时重新配置该数据。“诀窍在于，使用这些工具，您可以可视化的任何东西，也可以修改，” Smith说。