TensorFlow 学习（八）—— 梯度计算（gradient computation）

• maxpooling 的 max 函数关于某变量的偏导也是分段的，关于它就是 1，不关于它就是 0；
• BP 是反向传播求关于参数的偏导，SGD 则是梯度更新，是优化算法；

1. 一个实例

relu = tf.nn.relu(tf.matmul(x, W) + b)
C = [...]

[db, dW, dx] = tf.gradient(C, [b, w, x])