MIT使用贝叶斯推理让计算机程序编写专门为数据分析设计的新程序

MIT的研究人员使用贝叶斯推理，让计算机程序编写专门为数据分析设计的新程序。其目的是减轻那些本身不是人工智能专家的数据科学家的负担。

最近有个非常流行的话题：如何让普通人(普通人指既不是程序员，也不是IT管理员，更不是机器学习科学家的人群)更容易接近人工智能？

比较流行的一种方法是将所有的复杂性抽象到云计算操作中。

然而，本周MIT提出了另一种方法：让机器学习自己完成更多的工作，发明自己的程序，在时间序列分析等特定应用程序中处理数据。

这本身就是人工智能的一个热门领域，让机器建立模型，进而从数据中归纳出答案。

计算机程序设计自动化方法中，“第一个概率程序的贝叶斯合成”

研究人员描述了一种自动创建推断数据模式的程序的方法，这意味着数据科学家不再需要找出适合所研究数据的“模型”。

这项工作发表在计算机协会网站上的一篇论文中，题为《用于自动数据建模的贝叶斯合成概率程序》(Bayesian Synthesis of Probabilistic Programs for Automatic Data Modeling)。

其作者分别是MIT的Feras A. Saad、Marco F. Cusumano-Towner、Ulrich Schaechtle、Martin C. Rinard和Vikash K. Mansinghka。

Saad和他的同事们所要攻克的问题是：找到正确的程序来分析给定的数据集所需的所有工作。

正如他们在文章当中所述，要解决这个问题，将面临如下方面的困难：

用户需要手动选择模型或程序结构；

需要大量的建模专业知识；

建模能力有限；

如果用户没有探索足够广泛的模型或程序结构，可能会丢失数据的重要方面。

为了解决这个问题，他们打算让计算机做决定。

Saad和他的同事们继承了近年来“合成”计算机程序的传统，让一个程序生成另一个程序。

在这方面，有很多值得借鉴的例子，例如Google DeepMind科学家2014年为建立“神经图灵机”所做的努力。 该项目使用所谓的“循环神经网络”来发现简单的计算机算法，例如复制和粘贴文本。

作者的同事通过设计“概率”程序而不是经典的“确定性”程序来做区分。

这意味着在给定特定输入的情况下，程序不一定会产生可预测的输出。相反，程序的输出将反映输入它们的数据的噪声和不确定性。

为了实现这一点，作者使用了贝叶斯统计方法。他们对大量的计算机程序进行取样，并对每个程序的可能性进行评分，以此作为处理想要研究的数据的可能解决方案。

正如作者所说，在所有的计算机程序设计自动化方法中，他们的方法是“第一个概率程序的贝叶斯合成”。

“领域特定语言”构建的程序是关键

帮助研究人员实现这一壮举的是他们做出的一个关键选择：他们开始构建，或“合成”，不仅仅是任意一般类型的计算机程序，而是由“领域特定语言”构建的程序。

MIT的研究人员描述了他们的贝叶斯推理方法在特定领域的语言中搜索表达式的过程，以组合一组可以分析特定类型数据的算法。

DSL是在某种程度上可以匹配它们处理数据的语言。例如，有一些“数据建模”语言可以帮助表示数据中的关系。Yang就是这样一种数据建模语言的名称，用于计算机网络的建模。

通过将他们的方法限制在DSL上，作者适当缩小了计算机程序的“搜索空间”，从而提高了他们找到解决方案的几率，而不是像神经图灵机那样采用更通用的方法。

一旦贝叶斯推理过程装配了一些Winning Program，这些程序就能够对数据进行推理。

例如，作者描述了适合分析多年飞行里程的程序。这是一个时间序列分析问题，所谓的高斯统计过程是合适的。

因此，他们的贝叶斯推断综合了包含高斯过程操作的算法，以找到那些有可能拟合数据的算法组合。

与“卷积神经网络”等一些通用机器学习模型不同，这种方法的一大好处是，合成的程序在某种意义上是可以解释的，它们不是AI中令人恐惧的“黑匣子”。

这是因为程序是特定于领域的，所以它们的操作会“泄露”它们在数据中发现的内容。

正如作者所描述的，“领域特定语言中合成的程序提供了紧凑的数据模型，使定性属性在程序的表面语法中变得明显。”

同时，作者还展示了如何使这些DSL程序能够对新数据进行泛化。

他们使用一个解释器程序将单个算法转换成一种叫做Venture的东西，这是一种更加广泛和通用的概率编程语言。然后Venture就可以在更广泛的应用程序中对数据进行推断。

当然，这项工作有进一步的方向。研究人员特别指出，他们的工作在未来可能会纳入用户对数据应如何处理或分析的具体要求。

这意味着人类对数据的智能与机器技能的融合，或许是人与人工智能的理想结合。