向量求导

向量求导

• 对标量求导
• 矩阵对标量求导
• 向量对标量求导
• 向量对向量求导
• 行向量对列向量求导
• 列向量对行向量求导
• 向量积对向量求导

参考文库链接

对标量求导

矩阵对标量求导

$\frac{\mathrm{d} y }{\mathrm{d} x}= \begin{matrix} \frac{\mathrm{d} y11 }{\mathrm{d} x} & \frac{\mathrm{d} y12 }{\mathrm{d} x} \\ \frac{\mathrm{d} y21 }{\mathrm{d} x} & \frac{\mathrm{d} y22 }{\mathrm{d} x} \end{matrix}$dxdy​=dxdy11​dxdy21​​dxdy12​dxdy22​​

向量对标量求导

参考矩阵对标量求导

向量对向量求导

行向量对列向量求导

相当于每一个标量对列向量求导的组合。
其中$y^{T}$yT是1*n的向量，$x$x是m*1的向量：

重要结论：
$\frac{\mathrm{d}x^{T}}{\mathrm{d}x}=I$dxdxT​=I
$\frac{\mathrm{d}(Ax)^{T}}{\mathrm{d}x}=A^{T}$dxd(Ax)T​=AT

列向量对行向量求导

其中$y^{T}$yT是1*n的向量，$x$x是m*1的向量：$\frac{\mathrm{d}x}{\mathrm{d}y^{T}}=(\frac{\mathrm{d}x^{t}}{\mathrm{d}y})^{T}$dyTdx​=(dydxt​)T

向量积对向量求导

向量积求导公式：
$\frac{\mathrm{d} u^{T}v }{\mathrm{d} x}=\frac{\mathrm{d} u^{T} }{\mathrm{d} x} *v+\frac{\mathrm{d} v^{T} }{\mathrm{d} x} *u$dxduTv​=dxduT​∗v+dxdvT​∗u
$\frac{\mathrm{d} uv^{T} }{\mathrm{d} x}=\frac{\mathrm{d} u}{\mathrm{d} x} *v^{T}+u*\frac{\mathrm{d} v^{T} }{\mathrm{d} x}$dxduvT​=dxdu​∗vT+u∗dxdvT​
重要结论：
$\frac{\mathrm{d} x^{T}x }{\mathrm{d} x}=\frac{\mathrm{d} x^{T} }{\mathrm{d} x} *x+\frac{\mathrm{d} x^{T} }{\mathrm{d} x} *x=2*x;$dxdxTx​=dxdxT​∗x+dxdxT​∗x=2∗x;
$\frac{\mathrm{d} x^{T}Ax }{\mathrm{d} x}=\frac{\mathrm{d} x^{T} }{\mathrm{d} x} *Ax+\frac{\mathrm{d} x^{T} A^{T} }{\mathrm{d} x} *x=(A+A^{T})*x$dxdxTAx​=dxdxT​∗Ax+dxdxTAT​∗x=(A+AT)∗x