https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/
贝叶斯优化：使用高斯过程作为代理函数，并且通常优化提升幅度的期望Expected Improvement(新试验相对当前最好观测的提升的期望）。高斯过程是一组函数的分布。高斯过程中的一个样本包括一组函数。训练高斯过程会拟合训练数据的分布，因此能产生和观测数据相近的函数。使用高斯过程，我们可以计算搜索空间中任意点的期望提升。然后将期望提升最高的点应用于下一组实验。贝叶斯优化通常能给出非平凡的、不位于grid边界的连续超参数的估计（比如学习率，正则系数等），并且已经验证在某些benchmark上能够超过人类选出的参数。贝叶斯优化的一个有名的实现是Spearmint.