神经网络的训练步骤。
神经网络的理解
**函数的直接理解
sigmod函数作为**函数的第一个问题：
梯度弥散（因为如果到了饱和区域 则梯度趋近于0）
输出结果不关于零点对称
计算复杂度较高
tan(h(x))作为**函数的问题：
学习率太高容易导致一种问题就是：容易使得某些神经元不会被数据集中任何数据所**。这些神经元就像你整个神经网络中死去的部分。
解决方法：
什么**函数，什么反向流转的动态过程巴拉巴拉很复杂。
联系指的是各个**函数之间的联系。
研究的热点：梯度传播的问题和神经元失活的问题。
数据预处理：数据的归一化和白化处理。
PCA方法不能应用于图像处理的原因。
权重初始化：（很重要的问题）
如果初始所有权值都为0的话：