1、grid search vs random search
有时候random search的方法还是不错的，因为top k的结果已经相差不大。所以没有必要扫过所有的参数组合，只要取前k名的其中一个结果就好了。
有sample到K的几率：
2、model-based hyperparameter optimization
不一定好用
3、reinforcement learning（强化学习）
用RNN来决定network架构
（1）找到最好的activation function：
（2）找到learning rate：