超参数优化（Hyperparameter Optimization）
常见的类型
（1） 网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、**函数的类型等。
（2） 优化参数，包括优化方法、学习率、小批量的样本数量等。
（3） 正则化系数
主要存在的困难.
（1）超参数优化是一个组合优化问题， 无法像一般参数那样通过梯度下降方法来优化。
（2）评估一组超参数配置 的时间代价非常高。
对于超参数的配置，比较简单的方法有网格搜索、随机搜索、贝叶斯优化、动态资源分配和神经架构搜索。
- 网格搜索（Grid Search）
一种通过尝试所有超参数的组合来寻址合适一组超参数配置的方法。
-
随机搜索（Random Search）
不同超参数对模型性能的影响有很大差异. 有些超参数（比如正则化系数）对模型性能的影响有限，而另一些超参数（比如学习率）对模型性能影响比较大。在这种情况下，采用网格搜索会在不重要的超参数上进行不必要的尝试。因此，在实践中比较有效的改进方法是对超参数进行随机组合，然后选取一个性能最好的配置，这就是随机搜索。 -
贝叶斯优化
以后有时间补充 -
动态资源分配
比较好的讲解点击这里
5.神经架构搜索
神经网络的架构可以用一个变长的字符串来描述。利用元学习的思想，神经架构
搜索利用一个控制器来生成另一个子网络的架构描述，控制器可以由一个循环神
经网络来实现. 控制器的训练可以通过强化学习来完成，其奖励信号为生成的子
网络在开发集上的准确率。