一、前述

反向自动求导是 TensorFlow 实现的方案,首先,它执行图的前向阶段,从输入到输出,去计算节点
值,然后是反向阶段,从输出到输入去计算所有的偏导。

二、具体

1、举例

【TensorFlow篇】--反向传播

 

图是第二个阶段,在第一个阶段中,从 x =3和 y =4开始去计算所有的节点值
f ( x / y )=x 2 * y + y + 2
求解的想法是逐渐的从图上往下,计算 f ( x , y )的偏导,使用每一个连续的节点,直到我们到达变量节
点,严重依赖链式求导法则!

2.具体过程:

 因为n7是输出节点,所以f=n7,所以????f/????????7= 1

 让我们继续往下走到n5节点,????f/????????5=????f/????????7∗????????7/????????5 . 我们已知????f/????????7=1,所以我们需要知道????????7/????????5 ,因为n7=n5+n6,所以我们求得????????7/????????5=1,所以????f/????????5=1*1=1

 现在我们继续走到节点n4,????f/????????4=????f/????????5∗????????5/????????4,因为n5=n4*n2,我们求得�????5/????????4=n2,????f/????????4=1*4

 沿着图一路向下,我们可以计算出所有节点,就能计算出 ????????/????x= 24,????????/????y= 10

 那我们就可以利用和上面类似的方式方法去计算????????/????????

相关文章: