详解贝叶斯超参优化方法

数学是个奇妙的东西，可以把生活中的一切量化。人生也是个奇妙的东西，起起伏伏，好比一个高斯分布函数。今天就结合一些人生的感悟聊聊贝叶斯超参优化

一些些背景

很多算法工程师戏谑自己是调参工程师，因为他们需要在繁杂的算法参数中找到最优的组合，往往在调参的过程中痛苦而漫长的度过一天。如果有一种方式可以帮助工程师找到最优的参数组合，那一定大有裨益，贝叶斯超参优化就是其中的一种。如果是单单罗列公式，可能会显得乏味，就用一些思考带上公式为大家分享。

高斯过程

首先要知道什么是高斯过程，高斯过程也是正态分布，我们可以理解为一般世界的很多随机事件都是遵循这样的一个原则。比如买了1000次彩票，中奖的概率是多少，这就是一个典型的随机过程。比如在20楼向下扔皮球，砸中美女的概率也是一个随机过程。

在贝叶斯调参过程中，假设参数组合是X，最终的评估结果为Y，通过什么样的X可以取得最优的Y，这个函数F（X）我们是不知道的，

Y=F（X）

于是可以假设这个寻找最优化参数的过程是一个高斯过程。高斯过程有个特点，就是当随机遍历一定的数据点并拿到结果之后，可以大致绘制出整个数据的分布曲线。

上图是一个高斯过程的图，就像人生的曲线，起起伏伏，命运造化弄人，需要不断地尝试才能知道最终的结果。所以如果要找到完整的人生的曲线，需要不停地在每一个单点尝试，直到真个曲线清晰。就知道做什么样的事情，可以到达高谷，好比在超参优化中就是什么样的参数可以得到好的结果。

贝叶斯优化的重要基础理论就是不断通过先验点去预测后验知识。

贝叶斯优化理论

还是这张图，把横轴看作是参数组合X，纵轴看作是这个参数的结果Y。可以通过已经构建的曲线，找到曲线上升的方向，从而在这个方向上继续探索，这样就可以大概率拿到更好的结果。在生活的轨迹上，如果找到一条明确通往幸福的路，可以继续向前探索，因为大概率可以成功，但也许也有会错过更好的机会，陷入局部最优解。请看上图中的五角星，如果我们处于它的位置，继续向上走会迎来一个高峰，但是如果后退，在下降一段时间之后可能会迎来更高的波峰，你该如何选择。

于是，在参数的探索中要掌握一个平衡：

开发：在明确的曲线上扬方向继续走，大概率获得更好的结果，但是容易陷入局部最优。

探索：除了在曲线上扬的方向，在其它的区域也不忘寻找

总结一下，贝叶斯超参优化跟生活很像，面对顺境选择继续向前，还是勇敢的跳出现状寻找更大的突破，这需要一个策略，在调参中这个策略可以自己定义一些方法去实现。把参数组合对结果的影响看作是一个高斯过程，把开发和探索的策略作为一个自定义函数去权衡，这就是贝叶斯超参带给我们的启迪。