这一节主要讲了RNN的反向传播过程
BP即从输出到输入,因此和FP是相反的一些箭头
计算a的参数Wa和ba,计算y的参数Wy和by,绿色的箭头表示在这些不同的a和y的计算中都要用到这些参数(这里展示的是一层RNN,后面会讲到多层,在这一层中,不同的cell参数共享)。
这里的箭头表示的前向传播的计算过程,loss函数用的分类中常用的cross entropy,对于每个输出y计算loss,总的loss是这些不同y的loss之和
反向红色箭头表示的就是BP过程
这一节主要讲了RNN的反向传播过程
BP即从输出到输入,因此和FP是相反的一些箭头
计算a的参数Wa和ba,计算y的参数Wy和by,绿色的箭头表示在这些不同的a和y的计算中都要用到这些参数(这里展示的是一层RNN,后面会讲到多层,在这一层中,不同的cell参数共享)。
这里的箭头表示的前向传播的计算过程,loss函数用的分类中常用的cross entropy,对于每个输出y计算loss,总的loss是这些不同y的loss之和
反向红色箭头表示的就是BP过程
相关文章: