Sum-Product Networks的参数学习方法

　　随着信息社会的发展，互联网上的信息爆炸式的增长，如何有效地处理和组织这些数据，成为当前研究的重要课题。图模型常常被用来对大数据建模，它可以简洁的表示变量的概率分布，并且可以高效的计算和精确的学习模型的参数。一般情况下，我们常常使用图模型来简洁的表示复杂的分布，但是它在参数学习和推理的时候比较困难，这是由于它在归一化的时候需要比较大的计算量。而且网模型在做推理的时候，最坏的情况下会有指数级别的复杂度。另外随着变量的增加，网模型的复杂度会越来越高。深度架构可以看成一个有着多层隐变量的图模型，而且很多的分布只可以用深度网络来表示。然而在混合一些非凸的似然估计和比较高复杂度的推理让学习这种深度网络非常的难。而网模型虽然在推理上是可处理的，但是其在简洁表征方面的性能是非常有限的。

　　而Sum-Product Networks具有很强的表达能力和快速的推理能力。在2011年，Poon和Domingos提m了Sum-Product　Networks，通过增加层数来提高表达能力并且可以非常高效的做推理。SPN可以看成是一个广义的有向无环的混合图，SPN中间层一种小的由product节点和加权的sum芾点的SPN结构不断递归的组成的，而最下面的叶子节点是各个单一变量。Sum节点可以看成变量在集合上的混合，而product节点可以看成特征的混合。SPN可以看成概率上下文无关文法的特例，它有着很好的处理能力和很强的表达能力，这使得SPN有着很广泛的应用，特别是一些视觉应用中。