计算图的导数计算 (Derivatives with a Computation Graph)
在上一个视频中，我们看了一个例子使用流程计算图来计算函数 。现在我们清理一下流程图的描述，看看你如何利用它计算出函数的导数。
下面用到的公式：
这是一个流程图：
假设你要计算 ，那要怎么算呢？好，比如说，我们要把这个 值拿过来，改变一下，那么 值会怎么变呢？
所以定义上 ，现在 ，所以如果你让 增加一点点，比如到11.001，那么 ，所以我这里 增加了0.001，然后最终结果是 上升到原来的3倍，所以 ，因为对于任何 的增量 都会有3倍增量，而且这类似于我们在上一个视频中的例子，我们有 ，然后我们推导出 ，所以这里我们有 ，所以 ，这里 扮演了 的角色，在之前的视频里的例子。
在反向传播算法中的术语，我们看到，如果你想计算最后输出变量的导数，使用你最关心的变量对的导数，那么我们就做完了一步反向传播，在这个流程图中是一个反向步骤。
我们来看另一个例子， 是多少呢？换句话说，如果我们提高 的数值，对 的数值有什么影响？
好，我们看看这个例子。变量 ，我们让它增加到5.001，那么对 的影响就是 ，之前 ，现在变成11.001，我们从上面看到现在 就变成33.003了，所以我们看到的是，如果你让 增加0.001， 增加0.003。那么增加 ，我是说如果你把这个5换成某个新值，那么 的改变量就会传播到流程图的最右，所以 最后是33.003。所以 的增量是3乘以 的增量，意味着这个导数是3。
要解释这个计算过程，其中一种方式是：如果你改变了 ，那么也会改变 ，通过改变 ，也会改变 ，所以 值的净变化量，当你提升这个值（0.001），当你把 值提高一点点，这就是 的变化量（0.003）。
首先 增加了， 也会增加， 增加多少呢？这取决于 ，然后 的变化导致 也在增加，所以这在微积分里实际上叫链式法则，如果 影响到 ， 影响到 ，那么当你让 变大时， 的变化量就是当你改变 时， 的变化量乘以改变 时 的变化量，在微积分里这叫链式法则。
我们从这个计算中看到，如果你让 增加0.001， 也会变化相同的大小，所以 。事实上，如果你代入进去，我们之前算过 ， ，所以这个乘积 ，实际上就给出了正确答案， 。
这张小图表示了如何计算， 就是 对变量 的导数，它可以帮助你计算 ，所以这是另一步反向传播计算。
现在我想介绍一个新的符号约定，当你编程实现反向传播时，通常会有一个最终输出值是你要关心的，最终的输出变量，你真正想要关心或者说优化的。在这种情况下最终的输出变量是 ，就是流程图里最后一个符号，所以有很多计算尝试计算输出变量的导数，所以输出变量对某个变量的导数，我们就用 命名，所以在很多计算中你需要计算最终输出结果的导数，在这个例子里是 ，还有各种中间变量，比如 ，当你在软件里实现的时候，变量名叫什么？你可以做的一件事是，在python中，你可以写一个很长的变量名，比如 ，但这个变量名有点长，我们就用 ，但因为你一直对 求导，对这个最终输出变量求导。我这里要介绍一个新符号，在程序里，当你编程的时候，在代码里，我们就使用变量名 ，来表示那个量。
好，所以在程序里是 表示导数，你关心的最终变量 的导数，有时最后是 ，对代码中各种中间量的导数，所以代码里这个东西，你用 表示这个值，所以 ，你的代码表示就是 。
好，所以我们通过这个流程图完成部分的后向传播算法。我们在下一张幻灯片看看这个例子剩下的部分。
我们清理出一张新的流程图，我们回顾一下，到目前为止，我们一直在往回传播，并计算 ，再次， 是代码里的变量名，其真正的定义是 。我发现 ，再次， 是代码里的变量名，其实代表 的值。
大概手算了一下，两条直线怎么计算反向传播。
好，我们继续计算导数，我们看看这个值 ，那么 是多少呢？通过和之前类似的计算，现在我们从 出发，如果你令 增加到6.001，那么 之前是11，现在变成11.001了， 就从33变成33.003，所以 增量是3倍，所以 。对 的分析很类似对 的分析，实际上这计算起来就是 ，有了这个，我们可以算出 ， ，最终算出结果是 。
所以我们还有一步反向传播，我们最终计算出 ，这里的 当然了，就是 。
现在，我们仔细看看最后一个例子，那么 呢？想象一下，如果你改变了 的值，你想要然后变化一点，让 值到达最大或最小，那么导数是什么呢？这个 函数的斜率，当你稍微改变 值之后。事实上，使用微积分链式法则，这可以写成两者的乘积，就是 ，理由是，如果你改变 一点点，所以 变化比如说3.001，它影响 的方式是，首先会影响 ，它对 的影响有多大？好， 的定义是 ，所以 时这是6，现在就变成6.002了，对吧，因为在我们的例子中 ，所以这告诉我们 当你让 增加0.001时， 就增加两倍。所以 ，现在我想 的增加量已经是 的两倍，那么 是多少呢？我们已经弄清楚了，这等于3，所以让这两部分相乘，我们发现 。
好，这就是第二部分的推导，其中我们想知道 增加0.002，会对 有什么影响。实际上 ，这告诉我们 增加0.002之后， 上升了3倍，那么 应该上升0.006，对吧。这可以从 推导出来。
如果你仔细看看这些数学内容，你会发现，如果 变成3.001，那么 就变成6.002， 变成11.002，然后 ，对吧？这就是如何得到 。
为了填进去，如果我们反向走的话， ，而 其实是Python代码中的变量名，表示 。
我不会很详细地介绍最后一个例子，但事实上，如果你计算 ，这个结果是9。
我不会详细说明这个例子，在最后一步，我们可以推出 。
所以这个视频的要点是，对于那个例子，当计算所有这些导数时，最有效率的办法是从右到左计算，跟着这个红色箭头走。特别是当我们第一次计算对 的导数时，之后在计算对 导数就可以用到。然后对 的导数，比如说这个项和这里这个项：
可以帮助计算对 的导数，然后对 的导数。
所以这是一个计算流程图，就是正向或者说从左到右的计算来计算成本函数 ，你可能需要优化的函数，然后反向从右到左计算导数。如果你不熟悉微积分或链式法则，我知道这里有些细节讲的很快，但如果你没有跟上所有细节，也不用怕。在下一个视频中，我会再过一遍。在逻辑回归的背景下过一遍，并给你介绍需要做什么才能编写代码，实现逻辑回归模型中的导数计算。