前馈神经网络公式推导

1.神经网络结构

2.神经网络表达力与过拟合

3.传递函数

为什么Relu通常比上述两种**函数强？

4.损失函数

我们来看看交叉熵的本质，不需要了解的童靴可以略过~

S是对y softmax之后的：softmax公式

损失函数J以及对y的求导（在反向传播中会有这步）

5.梯度下降法

6.前馈神经网络前向传播

7.反向传播

反向传播先举了一个例子，进而得到反向传播公式，这个公式一定要背的滚瓜烂熟！！！






最后，必须记住的公式：