深度学习 细聊深度学习中BP计算过程

BP：

已知 $y=relu(|x| - x^3)$y=relu(∣x∣−x3)、$x = \begin{bmatrix} 2\\ -2\end{bmatrix}$x=[2−2​]、$▽y=\begin{bmatrix} -1\\ 1\end{bmatrix}$▽y=[−11​]， 求$▽x$▽x

求解步骤如下：

1. 首先我们绘制一下BP图
   
2. 由于x的值我们已知，所以，我们可以求出每一个支点处的值
   
3. 由于已知$▽y=\begin{bmatrix} -1\\ 1\end{bmatrix}$▽y=[−11​]， 我们对每一个节点进行求偏导（注意relu函数的偏导）
   
4. 开始进行反向相乘，安装图中绿线的部分开始进行
   
5. 最终我们得到的值为（下图紫色字体）：