对于一个两层神经网络,输入参数:${W^{[1]}}$, ${b^{[1]}}$, ${W^{[2]}}$, ${b^{[2]}}$,输入特征个数${n_x}$,隐藏层结点的个数${n^{[1]}}$,输出层的结点个数${n^{[2]}} $,输入结点个数${n^{[0]}} $。

${W^{[1]}}$的维度就是(${n^{[1]}}$, ${n^{[0]}}$),${b^{[1]}}$就是${n^{[1]}}$维向量,可以写成(${n^{[1]}}$, 1),就是一个列向量。

${W^{[1]}}$的维度就是(${n^{[2]}}$, ${n^{[1]}}$),${b^{[1]}}$就是${n^{[1]}}$维向量,可以写成(${n^{[2]}}$, 1),就是一个列向量。

假设做的是logistic回归,那么损失函数可以表示为:

3-7 神经网络的梯度下降

正向传播过程:

3-7 神经网络的梯度下降

参数更新过程:

3-7 神经网络的梯度下降

反向传播过程:

3-7 神经网络的梯度下降

3-7 神经网络的梯度下降

3-7 神经网络的梯度下降

3-7 神经网络的梯度下降

3-7 神经网络的梯度下降

3-7 神经网络的梯度下降

相关文章:

  • 2021-12-07
  • 2021-06-19
  • 2021-04-08
  • 2022-01-04
  • 2021-07-06
  • 2021-07-12
  • 2021-07-02
  • 2021-07-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-01-08
  • 2021-11-29
  • 2021-08-05
  • 2021-12-06
相关资源
相似解决方案