1.1 为什么ML策略
为什么要选择正确的机器学习策略呢？ Why ML strategy?
错误的策略往往会导致浪费时间在错误的方向上，达不到好的效果。
Ideas：
更多的数据集、更多的类型的数据、长时间的训练、尝试不同的优化算法、尝试不同类型的网络结构、随机失活、L1/L2正则化、修改网络结构-不同的**函数/更多的隐层单元 。。。
1.2 正交化
Orthogonalization
举例： 每个参量控制一类数据，并且每个参量对应的数据是相互独立的 这样控制起来更加有效，
可以类比到ML参数的调整~~~
正交化策略可以更加容易的区别出算法环节的独立性，从而减少测试和开发的时间。
在设计监督学习的系统时，不同阶段应保证一定的正交性
1、如果训练数据对应的损失函数表现不好，可以尝试采用更大规模的神经网络，或者换优化算法。
2、如果算法在开发数据上表现不好，可以尝试正则化策略。
3、如果算法在测试集上表现不好，可以尝试采用更多的开发数据训练系统。
4、如果算法在实际应用中表现不好，需要考虑数据集的正确性以及损失函数的合理性。
5、针对early stopping 老吴认为不具备完善的正交性，即往往会影响多面，老吴持保留态度，不过实际应用中还挺好用。