搜索策略：
1.网格搜索
2.随机搜索
3.遗传算法搜索
4.启发式搜索
1.网格搜索
离散值代入，如上图所示，learning rate 有四个离散值，dropout rate 有四个离散值，组成16个组合。每个方格对应一组超参数
一组一组参数尝试
2.随机搜索
网格搜索缺点：只能取固定的值，最优的值可能在其他位置
随机搜索是随机产生值，可搜索空间更大
3.遗传算法搜索
遗传算法是独立算法。
对自然界的模拟。
A 初始化候选参数集合->训练->得到模型指标作为生存概率。
B 选择->交叉->变异-> 产生下一代集合。
C 重新到A
4.启发式搜索
研究热点-AutoML
使用循环神经网络来生成参数。
使用强化学习来进行反馈，使用模型来训练生成参数。