Softmax函数交叉熵及其求导

1. 简介

---

$Softmax$Softmax 函数

$Softmax$Softmax 函数在神经网络分类是十分常用的函数，如下所示，在神经元output layer中，可以输出一个$R^{4}$R4 维度的向量，来进行分类，例如输出层为向量 $O=[ 0.2,0.1,0.4,0.3 ]$O=[0.2,0.1,0.4,0.3], 可根据向量中元素大小（元素之和为1）来判断该输入（可以是图片，也可以是文字）属于哪一类，而在这种分类的情况中，$Softmax$Softmax 函数就起到了十分重要的作用。

$Softmax$Softmax 函数的公式为：$a_{i}=\frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}}$ai​=∑j=1n​ezj​ezi​​

其中，$a_{i}$ai​ 为第 $i$i 个神经元经过$Softmax$Softmax 函数得到的值，$z_{i}$zi​ 为第 $i$i 个神经元的输出值，其计算公式为 $ z_{i}=W_{i}*x+ b $ $(W_{i}为权重矩阵W_{ij} 的第i行)。 $

代价函数交叉熵

为了计算损失函数，我们使用交叉熵代价函数，有 $Loss = -\sum^{n}_{i}y_{i}loga_{i}$Loss=−∑in​yi​logai​

其中 $y_{i}$yi​ 代表第$a_{i}$ai​ 个输出的真实值。

2. Softmax函数交叉熵的求导

---

1）
对于Softmax函数的求导，用得最多的应该是链式法则，对于链式法则，举个例子如下：

设我们有函数 $g(f(x))$g(f(x)), 则$\frac{\partial{ g(f(x))}}{\partial{x}} = \frac{\partial{ g(f(x))}}{\partial{f(x)}}$∂x∂g(f(x))​=∂f(x)∂g(f(x))​$\frac{\partial{ f(x)}}{\partial{x}}$∂x∂f(x)​， 这就是链式法则。

2）
对于交叉熵函数求导，首先，我们要求导的是交叉熵对神经元输出的梯度： $\frac{\partial{L}}{\partial{z_{i}}}$∂zi​∂L​

根据链式法则，我们有：$\frac{\partial{L}}{\partial{z_{i}}} = \frac{\partial{L}}{\partial{a_{j}}}$∂zi​∂L​=∂aj​∂L​$\frac{\partial{a_{j}}}{\partial{z_{i}}}$∂zi​∂aj​​

其中, 使用 $a_{j}$aj​ 是因为对$Softmax$Softmax函数包含了所有神经网络输出的和，即 $a_{i} = \frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}}$ai​=∑j=1n​ezj​ezi​​，所以，就算我们不是求交叉熵对$a_{j}$aj​的梯度，但是$a_{j}$aj​依旧包含了$a_{i}$ai​ 的元素。

总的来说就是，由于$Softmax$Softmax 函数的特殊性，对于$a_{j}$aj​ 第$j$j个神经元的输出，其中也包含了$a_{i}$ai​ 中的元素。

3）
对于求 $\frac{\partial{L}}{\partial{z_{i}}} = \frac{\partial{L}}{\partial{a_{j}}}$∂zi​∂L​=∂aj​∂L​$\frac{\partial{a_{j}}}{\partial{z_{i}}}$∂zi​∂aj​​ ，可先求其前半部分 $\frac{\partial{L}}{\partial{a_{j}}}$∂aj​∂L​：

$\frac{\partial{L}}{\partial{a_{j}}} = \frac{\partial{ (-\sum^{n}_{j}y_{j}loga_{j}) }}{\partial{a_{j}}} = -\sum^{n}_{j}\frac{y_{j}}{a_{j}}$∂aj​∂L​=∂aj​∂(−∑jn​yj​logaj​)​=−∑jn​aj​yj​​

当$j=i$j=i 时，$\frac{\partial{L}}{\partial{a_{i}}} = -\frac{y_{i}}{a_{i}}$∂ai​∂L​=−ai​yi​​
当$j \neq i$j̸​=i时，$\frac{\partial{L}}{\partial{a_{j}}} = -\sum_{j\neq i}^{n}\frac{y_{j}}{a_{j}}$∂aj​∂L​=−∑j̸​=in​aj​yj​​

（4）

公式 $\frac{\partial{L}}{\partial{z_{i}}} = \frac{\partial{L}}{\partial{a_{j}}}$∂zi​∂L​=∂aj​∂L​$\frac{\partial{a_{j}}}{\partial{z_{i}}}$∂zi​∂aj​​ 的第二部分: $\frac{\partial{a_{j}}}{\partial{z_{i}}}$∂zi​∂aj​​ , 需要分俩种情况讨论，即 $j=i$j=i 和 $j \neq i$j̸​=i 俩种情况。

对于 $j=i$j=i,

$\frac{\partial{a_{i}}}{\partial{z_{i}}} = \frac{\partial{ \frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}} }}{\partial{z_{i}}} = \frac{e^{z_{i}}\sum^{n}_{j=1}e^{z_{j}} - (e^{z_{i}})^{2}}{(\sum^{n}_{j=1}e^{z_{j}})^{2}}=\frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}}-(\frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}})^{2}=a_{i}-a_{i}^{2}=a_{i}(1-a_{i})$∂zi​∂ai​​=∂zi​∂∑j=1n​ezj​ezi​​​=(∑j=1n​ezj​)2ezi​∑j=1n​ezj​−(ezi​)2​=∑j=1n​ezj​ezi​​−(∑j=1n​ezj​ezi​​)2=ai​−ai2​=ai​(1−ai​)

对于 $j \neq i,$j̸​=i,

$\frac{\partial{a_{j}}}{\partial{z_{i}}} = \frac{\partial{ \frac{e^{z_{j}}}{\sum^{n}_{j=1}e^{z_{j}}} }}{\partial{z_{i}}} = \frac{-e^{z_{j}}e^{z_{i}}}{(\sum^{n}_{j=1}e^{z_{j}})^{2}}=-\frac{e^{z_{j}}}{\sum^{n}_{j=1}e^{z_{j}}}\frac{e^{z_{i}}}{\sum^{n}_{j=1}e^{z_{j}}}=-a_{j}a_{i}$∂zi​∂aj​​=∂zi​∂∑j=1n​ezj​ezj​​​=(∑j=1n​ezj​)2−ezj​ezi​​=−∑j=1n​ezj​ezj​​∑j=1n​ezj​ezi​​=−aj​ai​

因此，对于第二部分的求导，我们有 $\frac{\partial{a_{j}}}{\partial{z_{i}}}=a_{i}(1-a_{i})+\sum_{j\neq i}^{n}-a_{j}a_{i}$∂zi​∂aj​​=ai​(1−ai​)+∑j̸​=in​−aj​ai​

5）
则对于$\frac{\partial{L}}{\partial{z_{i}}} = \frac{\partial{L}}{\partial{a_{j}}}$∂zi​∂L​=∂aj​∂L​$\frac{\partial{a_{j}}}{\partial{z_{i}}}$∂zi​∂aj​​，我们有：

$\frac{\partial{L}}{\partial{z_{i}}} $

$= \frac{\partial{L}}{\partial{a_{j}}}\frac{\partial{a_{j}}}{\partial{z_{i}}}$=∂aj​∂L​∂zi​∂aj​​

$= -\frac{y_{i}}{a_{i}}(a_{i}(1-a_{i})) + \sum^{n}{j \neq i}\frac{y{j}}{a_{j}}a_{j}a_{i} $

$= -y_{i}(1-a_{i}) + \sum^{n}_{j \neq i}y_{j}a_{i}$=−yi​(1−ai​)+∑j̸​=in​yj​ai​

$ = -y_{i}+a_{i}y_{i}+\sum^{n}{j \neq i}y{j}a_{i}$

$=-y_{i}+a_{i}\sum_{j=1}^{n} y_{j}$=−yi​+ai​∑j=1n​yj​

由于对真实值，我们知道 $y_{j}$yj​ 为第$i$i个神经元期望输出的值，一般而言，$\sum_{j=1}^{n} y_{j}=1$∑j=1n​yj​=1, 故对于这种通过 $Softmax$Softmax函数的输出来确定其分类的，只有一个类别会是1，因此有代价函数对第$i$i个神经元的输出 $z_{i}$zi​ 的梯度为：
$\frac{\partial{L}}{\partial{z_{i}}} = -y_{i} + a_{i}$∂zi​∂L​=−yi​+ai​