1. tune process
会调整的超参数：红、黄、紫为调整的可能
从粗略到详细地调整，尝试随机
2. 为超参数选择合适的范围
一般不会使用线性轴，因为在首末对于熟知的变化敏感程度不一样，需要更多的去寻找。如果使用线性然后由粗到细的找最后也能找到合适的超参数
3. 超参数设置实践：
Panda V.S. Caviar(熊猫和鱼子酱），来代表两种不同实验超参数的方式，第一种每天都要悉心照料（通常计算资源不够），第二种同时跑很多种模型找最好的。
4.正则化网络的**函数
为了更好的训练w and b：
5. 将Batch Norm 拟合到神经网络中
Batch Norm发生在红色线部分，在z输入**函数变成a之前。
在tensorflow中一句话就可以实现：tf.nn.batch.normalization
Batch Norm 经常和mini batch一起使用：
由于使用了Batch，b不再需要（会被抵消，每次计算 z title 平均值再减去平均值）
6. 为什么 Batch Norm 有用
Covariate shift:
在黑猫的数据及上训练完成后，模型可能不能很好的处理其他有色猫。
而“对于神经网络的各层输出，在经过了层内操作后，各层输出分布就会与对应的输入信号分布不同，而且差异会随着网络深度增大而加大了，但每一层所指向的Label仍然是不变的”
BN还有轻微的正则化作用。
7. 测试时的Batch Normalization
8. Softmax 回归
进行多分类时
9. 训练softmax
hardmax：将1放在一个位置上，其他0
softmax：将每个概率放在相应位置上，和为1
当C=2是，softmax回归和逻辑回归一样，证明思路是给的两个概率其实有一个没有意义，变成了一个输出
借助变成框架可一直关心正向传播，框架会帮你计算导数、反向传播
10. 框架选择
11. Tensorflow