机器学习笔记之高斯过程（上）-电子发烧友网

高斯分布

我们定义一个将输入x映射到输出y的函数,在统计学中，我们使用随机模型来定义这种关系的概率分布。例如，一个3.8 GPA的学生可以获得平均$60K的薪水，方差（σ2）为$10K。

p(Salary=x|GPA=3.8)（一个均值为$60K，方差为$10k的高斯分布）

概率密度函数（Probability density function，PDF）

在下面的图表中，p(X=x) 服从高斯分布：

在高斯分布中，68%的数据在距离μ 1σ之内，95%的数据在距离μ 2σ之内。我们可以根据概率分布来进行数据采样。从分布中采样数据的符号表示为：

在现实生活中，许多数据都遵循高斯分布。

例如，让我们建立旧金山居民身高和体重之间的关系模型。我们从1000名成年居民中收集信息，并将数据绘制如下图所示，每个红点代表1个人：

对应的三维概率密度函数（PDF）如下图所示：

让我们首先将模型推广到多元高斯分布，即概率密度函数取决于多个变量。

一个多元向量：

多元高斯分布的概率密度函数定义如下：

其中，Σ表示协方差矩阵：

让我们回到身高和体重的例子中，来说明这个公式的应用。

从我们的训练数据中，我们计算得到=190，=70：

协方差矩阵Σ是用来做什么的？协方差矩阵中的每个元素都代表着两个变量之间的关系。例如，表示身高（）与体重（）的相关性。如果体重随身高的增加而增加，那么为正值。

让我们详细介绍如何计算上述的。为了简化，我们假设我们只有两个数据点（150磅，66英寸）和（200磅，72英寸）。

在计算了所有1000个数据之后，协方差矩阵Σ的值如下所示：

协方差矩阵Σ中的正元素值表示两个变量呈正相关关系。不出所料，是正值，因为体重随身高的增加而增加。如果两个变量彼此独立，则值应为0，如下所示：

计算的概率

计算在给定的条件下的概率：

其中，Φ是累积分布函数（cumulative distribution function，CDF）：

我们将协方差变量Σ重写为以下形式：

代码

我们从一个二元高斯分布中采样数据。从协方差矩阵中，我们可以看出x和y呈正相关关系，因为和是正的。

mean = [0, 2]
cov = [[1, 2], [3, 1]]


x, y = np.random.multivariate_normal(mean, cov, 5000).T
plt.plot(x, y, 'x')
plt.axis('equal')
plt.show()

下面绘制（y,x）的概率分布图：

from scipy.stats import multivariate_normal


x, y = np.mgrid[-1:1:.01, -1:1:.01]  # x (200, 200) y (200, 200)
pos = np.empty(x.shape + (2,))
pos[:, :, 0] = x; pos[:, :, 1] = y   # pos (200, 200, 2)


mean = [-0.4, -0.3]
cov = [[2.1, 0.2], [0.4, 0.5]]
rv = multivariate_normal(mean, cov)
p = rv.pdf(pos)                      # (200, 200)
plt.contourf(x, y, p)
plt.show()

多元高斯分布定理

给定一个高斯分布：

后验条件概率的计算公式如下所示。这个公式在后面的高斯过程中非常重要。例如，如果我们有1000个毕业生的GPA和薪水样本，我们可以使用这个定理通过1000个训练数据点创建一个高斯分布模型来预测给定GPA情况下的薪水P(salary|GPA)，

这里不详细介绍公式的推理过程。但是假设x服从高斯分布。和之间的相关性由μ和Σ定义。因此，给定的值，我们可以计算出的概率分布：p(|)。

例如，我们知道旧金山居民的身高服从高斯分布。在下一节中，我们将应用高斯过程来预测在给定身高的情况下体重的值。

高斯过程

高斯过程（Gaussian Process，GP）的直观理解很简单。如果两个点具有相似的输入，那么它们的输出也应该相似。对于有两个数据点的情况，如果一个数据点比另一个数据点更接近已知的训练数据点，那么它的预测结果会更加可靠。

例如，如果一个GPA为3.5的学生一年挣$70K，那么另一个GPA为3.45的学生应该会挣类似的薪水。在高斯过程中，我们使用训练数据集来构建高斯分布，以进行预测。对于每个预测，我们输出一个均值和一个σ。例如，使用高斯过程，我们可以预测一个GPA为3.3的学生可以挣到μ=$65K，σ=$5K，而一个GPA为2.5的学生可以挣到μ=$50K和σ=$15K。σ衡量了我们预测的不确定性。因为3.3 GPA更接近于我们的3.5 GPA训练数据，所以我们对于3.3 GPA学生的薪水预测比2.5 GPA学生更有信心。

在高斯过程中，我们不是计算Σ，而是计算K来衡量数据点和之间的相似性。