代价函数和**函数组合效果

均方差代价函数 + sigmoid

C=(y−a)22$$C=\frac{(y-a{)}^2}{2}$$

其中，z=wx+b,
而a是经历了**函数的z，a=σ(z)。
那么这个的梯度，对w和b分别求导，得到：

∂C∂w=(a−y)σ'(z)x=aσ'(z)$$\frac{\partial C}{\partial w}=(a-y)\sigma \prime (z)x=a\sigma \prime (z)$$

∂C∂b=(a−y)σ'(z)=aσ'(z)$$\frac{\partial C}{\partial b}=(a-y)\sigma \prime (z)=a\sigma \prime (z)$$

也就是说梯度的大小和**函数的倒数有着直接的正相关关系。假设我们选择sigmoid函数

可以很明显的看出，在z = 0的时候导数最大，越往两边越小。也就代表神经网络输出结果离真实值越远学习速率越慢。这种差距越大速率越慢的结果对我们训练很不利，所以我们需要寻求一种新的方法来解决。

交叉熵代价函数+sigmoid

我们提出交叉熵的方法，来配合sigmoid可以完美的解决这个问题。
首先，交叉熵的公式是

C=−1n∑x[ylna+(1−y)ln(1−a)]$$C=-\frac{1}{n}\sum _x[ylna+(1-y)ln(1-a)]$$

求导可以得到

C=−1n∑xσ'(z)xjσ(z)(1−σ(z))(σ(z)−y)$$C=-\frac{1}{n}\sum _x\frac{\sigma \prime (z)x_j}{\sigma (z)(1-\sigma (z))}(\sigma (z)-y)$$

由于sigmoid函数是σ(z)=1/(1+e−z)，所以实际上可以推导出σ′(z)=σ(z)(1−σ(z)) （别问我这是怎么发现的，神奇的数学家发现的，我验证过了的），所以可以消除很多项了，也就是

∂C∂wj=1n∑xxj(σ(z)−y)$$\frac{\partial C}{\partial w_j}=\frac{1}{n}\sum _x{x}_j(\sigma (z)-y)$$

这样一来速率就只和(σ(z)−y)成正相关了，所以差距越大，速度也就可以越快了。

参考资料：
神经网络与深度学习–交叉熵代价函数