矩阵，向量，标量之间的导数

先说明一些符号：

标量y,向量$\overrightarrow{y}$y​,矩阵$X,Y$X,Y.
$\overrightarrow{y}=\begin{bmatrix} y_1\\ y_2\\ \vdots \\ y_n \end{bmatrix} \overrightarrow{x}=\begin{bmatrix} x_1\\ x_2\\ \vdots \\ x_n \end{bmatrix}$y​=⎣⎢⎢⎢⎡​y1​y2​⋮yn​​⎦⎥⎥⎥⎤​x=⎣⎢⎢⎢⎡​x1​x2​⋮xn​​⎦⎥⎥⎥⎤​
$X=\begin{bmatrix} x_{11} &x_{12} &\cdots &x_{1n} \\ x_{21}&x_{22} &\cdots &x_{2n} \\ \vdots& \vdots & \cdots &\vdots \\ x_{m1}&x_{m2} & \cdots &x_{mn} \end{bmatrix}$X=⎣⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​⋯⋯⋯⋯​x1n​x2n​⋮xmn​​⎦⎥⎥⎥⎤​

在矩阵求导这里有两种布局方式，常用的是分子布局，我下面所用的就是分子布局。

标量对向量求导

$\frac{\partial y}{\partial \overrightarrow{x}}=\begin{bmatrix} \frac{\partial y}{\partial x_1} & \frac{\partial y}{\partial x_2}& \cdots& \frac{\partial y}{\partial x_n} \end{bmatrix}$∂x∂y​=[∂x1​∂y​​∂x2​∂y​​⋯​∂xn​∂y​​]
这是分子布局下标量对向量的求导，记住了这种方式，下面的就容易多了.

向量对向量求导

向量对向量求导，本质就是分子向量的每一个值(标量)对分母向量求导，具体的就是$y_1$y1​对$\overrightarrow{x}$x求导，$y_2$y2​对$\overrightarrow{x}$x求导，一直到$y_n$yn​对$\overrightarrow{x}$x求导.那么正如标量对向量求导，$y_1$y1​对$\overrightarrow{x}$x求导的结果就是
$\frac{\partial y_1}{\partial \overrightarrow{x}}=\begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2}& \cdots& \frac{\partial y_1}{\partial x_n} \end{bmatrix}$∂x∂y1​​=[∂x1​∂y1​​​∂x2​∂y1​​​⋯​∂xn​∂y1​​​]
所以
$\frac{\partial \overrightarrow{y}}{\partial \overrightarrow{x}}=\begin{bmatrix} \frac{\partial y_1}{\partial x_1}&\frac{\partial y_1}{\partial x_2} &\cdots &\frac{\partial y_1}{\partial x_n} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} &\cdots &\frac{\partial y_2}{\partial x_n} \\ \vdots&\vdots & \cdots &\vdots \\ \frac{\partial y_n}{\partial x_1}&\frac{\partial y_n}{\partial x_1} & \cdots & \frac{\partial y_n}{\partial x_n} \end{bmatrix}$∂x∂y​​=⎣⎢⎢⎢⎢⎡​∂x1​∂y1​​∂x1​∂y2​​⋮∂x1​∂yn​​​∂x2​∂y1​​∂x2​∂y2​​⋮∂x1​∂yn​​​⋯⋯⋯⋯​∂xn​∂y1​​∂xn​∂y2​​⋮∂xn​∂yn​​​⎦⎥⎥⎥⎥⎤​
每一行就是标量对向量求导的计算结果。

标量对矩阵求导

对于矩阵$X$X，它是$m\times n$m×n的矩阵，我们可以给它看成是$n$n个$m$m维的列向量，那么问题就变为了标量对$n$n个向量的求导，例如标量$y$y对矩阵$X$X的第一列
$\begin{bmatrix} x_{11}\\ x_{21}\\ \vdots\\ x_{m1} \end{bmatrix}$⎣⎢⎢⎢⎡​x11​x21​⋮xm1​​⎦⎥⎥⎥⎤​
的求导就是
$\begin{bmatrix} \frac{y}{\partial x_{11}} &\frac{y}{\partial x_{21}} &\cdots &\frac{y}{\partial x_{m1}} \end{bmatrix}$[∂x11​y​​∂x21​y​​⋯​∂xm1​y​​]
所以
$\frac{\partial y}{\partial X}=\begin{bmatrix} \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \cdots & \frac{\partial y}{\partial x_{m1}} \\ \frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} &\cdots &\frac{\partial y}{\partial x_{m2}} \\ \vdots& \vdots & \cdots & \vdots\\ \frac{\partial y}{\partial x_{1n}} &\frac{\partial y}{\partial x_{2n}} & \cdots &\frac{\partial y}{\partial x_{mn}} \end{bmatrix}$∂X∂y​=⎣⎢⎢⎢⎢⎡​∂x11​∂y​∂x12​∂y​⋮∂x1n​∂y​​∂x21​∂y​∂x22​∂y​⋮∂x2n​∂y​​⋯⋯⋯⋯​∂xm1​∂y​∂xm2​∂y​⋮∂xmn​∂y​​⎦⎥⎥⎥⎥⎤​

下图来自维基百科上矩阵求导详述

解释完了上面的部分，我们也就明白下图中为什么是这样的结果了
我们仅仅看分子布局(Numerator layout)那一列
假如$\overrightarrow{a}=\begin{bmatrix} a_1 & a_2 &\cdots &a_m \end{bmatrix}^T$a=[a1​​a2​​⋯​am​​]T,向量$\overrightarrow{a}$a和向量$\overrightarrow{x}=\begin{bmatrix} x_1 & x_2 &\cdots &x_n \end{bmatrix}^T$x=[x1​​x2​​⋯​xn​​]T一点关系没有.
那么求导的结果就是$m\times n$m×n的零矩阵.$\overrightarrow{x}$x对自身求导的结果是单位矩阵.这两个就不写出来了，我们下面看一下后两个，假设
$A=\begin{bmatrix} a_{11} &a_{12} &\cdots &a_{1n} \\ a_{21}& a_{22} & \cdots & a_{2n}\\ \vdots & \vdots &\cdots & \vdots\\ a_{m1} &a_{m2} &\cdots & a_{mn} \end{bmatrix}$A=⎣⎢⎢⎢⎡​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋯⋯​a1n​a2n​⋮amn​​⎦⎥⎥⎥⎤​
那么
$Ax=\begin{bmatrix} a_{11}x_{1}+a_{12}x_{2}+\cdots+a_{1n}x_n\\ a_{21}x_{1}+a_{22}x_{2}+\cdots+a_{2n}x_n\\ \vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n \end{bmatrix}$Ax=⎣⎢⎢⎢⎡​a11​x1​+a12​x2​+⋯+a1n​xn​a21​x1​+a22​x2​+⋯+a2n​xn​⋮am1​x1​+am2​x2​+⋯+amn​xn​​⎦⎥⎥⎥⎤​
此时$\frac{\partial Ax}{\partial x}$∂x∂Ax​就是向量对向量的导数
，按照上述步骤就是分解为$m$m个标量对向量的导数，
第一个标量是$a_{11}x_{1}+a_{12}x_{2}+\cdots+a_{1n}x_n$a11​x1​+a12​x2​+⋯+a1n​xn​，它对$\overrightarrow{x}=\begin{bmatrix} x_1\\ x_2\\ \vdots \\ x_n \end{bmatrix}$x=⎣⎢⎢⎢⎡​x1​x2​⋮xn​​⎦⎥⎥⎥⎤​

的导数是$\begin{bmatrix} a_{11} &a_{12} & \cdots &a_{1n} \end{bmatrix}$[a11​​a12​​⋯​a1n​​]
看到这里大家最好拿纸笔自己推算一下。
那么自然的，就得到了
$\frac{\partial Ax}{\partial x}=\begin{bmatrix} a_{11} &a_{12} &\cdots &a_{1n} \\ a_{21}& a_{22} & \cdots & a_{2n}\\ \vdots & \vdots &\cdots & \vdots\\ a_{m1} &a_{m2} &\cdots & a_{mn} \end{bmatrix}$∂x∂Ax​=⎣⎢⎢⎢⎡​a11​a21​⋮am1​​a12​a22​⋮am2​​⋯⋯⋯⋯​a1n​a2n​⋮amn​​⎦⎥⎥⎥⎤​
这就是矩阵$A$A.
现在再看最后一个$\frac{\partial x^TA}{\partial x}$∂x∂xTA​,
首先计算$x^TA$xTA,$\overrightarrow{x}^T=\begin{bmatrix} x_1 & x_2 &\cdots &x_n \end{bmatrix}$xT=[x1​​x2​​⋯​xn​​],这里注意这里的矩阵$A$A和上一个不是一个矩阵，只不过用A这个符号表示这是一个矩阵。这里的矩阵$A$A应该等于
$A=\begin{bmatrix} a_{11} &a_{12} &\cdots &a_{1m} \\ a_{21}& a_{22} & \cdots & a_{2m}\\ \vdots & \vdots &\cdots & \vdots\\ a_{n1} &a_{n2} &\cdots & a_{nm} \end{bmatrix}$A=⎣⎢⎢⎢⎡​a11​a21​⋮an1​​a12​a22​⋮an2​​⋯⋯⋯⋯​a1m​a2m​⋮anm​​⎦⎥⎥⎥⎤​
$n\times m$n×m型的矩阵。
那么$x^TA$xTA就等于
$\begin{bmatrix} a_{11}x_{1}+a_{21}x_{2}+\cdots+a_{n1}x_n\\ a_{12}x_{1}+a_{22}x_{2}+\cdots+a_{n2}x_n\\ \vdots\\ a_{1m}x_1+a_{m2}x_2+\cdots+a_{nm}x_n \end{bmatrix}$⎣⎢⎢⎢⎡​a11​x1​+a21​x2​+⋯+an1​xn​a12​x1​+a22​x2​+⋯+an2​xn​⋮a1m​x1​+am2​x2​+⋯+anm​xn​​⎦⎥⎥⎥⎤​

所以$\frac{\partial x^TA}{\partial x}$∂x∂xTA​依旧是向量对向量的求导，我们首先看第一个标量$a_{11}x_{1}+a_{21}x_{2}+\cdots+a_{n1}x_n$a11​x1​+a21​x2​+⋯+an1​xn​对$\overrightarrow{x}$x的导数,就是
$\begin{bmatrix} a_{11} &a_{21} & \cdots & a_{n1} \end{bmatrix}$[a11​​a21​​⋯​an1​​]
那么自然的
$\frac{\partial x^TA}{\partial x}=\begin{bmatrix} a_{11} &a_{21} &\cdots &a_{n1} \\ a_{12}& a_{22} &\cdots & a_{n2}\\ \vdots& \vdots&\cdots & \vdots\\ a_{1m} &a_{2m} & \cdots& a_{nm} \end{bmatrix}$∂x∂xTA​=⎣⎢⎢⎢⎡​a11​a12​⋮a1m​​a21​a22​⋮a2m​​⋯⋯⋯⋯​an1​an2​⋮anm​​⎦⎥⎥⎥⎤​
这显然就是矩阵$A$A的转置。(别忘了这是分子布局的情况下)
其实只要记住分子布局下标量对向量的求导形式：

$\frac{\partial y}{\partial \overrightarrow{x}}=\begin{bmatrix} \frac{\partial y}{\partial x_1} & \frac{\partial y}{\partial x_2}& \cdots& \frac{\partial y}{\partial x_n} \end{bmatrix} , \overrightarrow{x}=\begin{bmatrix} x_{1}\\ x_2\\ \vdots\\ x_n \end{bmatrix}$∂x∂y​=[∂x1​∂y​​∂x2​∂y​​⋯​∂xn​∂y​​],x=⎣⎢⎢⎢⎡​x1​x2​⋮xn​​⎦⎥⎥⎥⎤​
后面的各种形式也就很容易理解了。