搜索过程是自动化的
如何进行网络结构搜索
- 搜索必有搜索空间
- 搜索过程中必有反馈
- 自动化搜索过程
网络结构搜索示例——以卷积神经网络为例
搜索空间
搜索的反馈
自动化搜索过程
如何使用反馈
分布式训练
- 控制器参数分布在parameter server中
- 将控制器复制k份
- 每个控制器随机生成若干个神经网络，进行训练
- 神经网络训练完后得到准确率
- 计算控制器梯度
- 梯度回传
把所有参数都存在一组服务器上，把所有的模型训练放在一组工作节点上
同步和异步两种方式
一般会采用异步的
实现细节
- 两层LSTM，每层长度为35
- Adam优化器，learning_rate=0.0006
- PS=20, 控制器副本数目=100
- 控制器每次生成m个结构，m=8(即800个生成的网络结构同时在训练，同时使用800GPU)
缺点
- 每一层的参数都是独立的
- 学习整个网络，参数搜索空间很大
- 难于学习复杂的子结构
- 没有利用重复层的特点