深度学习
常用函数
sigmoid：
Relu**函数
sigmoid存在的主要缺点是 当网络层数较多的时候 容易发生梯度消失 因为在sigmoid中 x值过大或者过小 它的倒数值都会接近于0 ，这样便不能进行反向传播。而Relu函数不会
Softmax：
学习率问题
学习率过高过或过低都不行
反向传播：
反向传播即在 更新w的时候需要做的事情 一步一步的反向求导 更新参数
神经网络可以表达非线性的原因
由于有了**函数 可以使得线性的WX经过**函数后 表达出非线性效果
参数初始化
对于w若开始是0 则参数无法更新 一般采用随机初始化 w在0-1之间 对于B的初始化是取0或者1