在矩阵求导中,因变量可以是标量、向量以及矩阵,而自变量同样如此。
第一个例子:考虑一个向量微积分的梯度,该函数有三个自变量,,则该函数的梯度是:
代表的是一个单位向量。这种广义导数可以看做是标量
对向量
的求导,可以表示为如下形式:
以下表格列出了六种求导的情况。
向量对标量求导:
设y是一个列向量:, x是一个标量,则y对x的求导公式为:
标量对向量求导:
设y是一个标量,x是一个向量:,则y对x的求导公式为:
.
向量对向量求导:
设y是一个m×1的向量:。x是一个1×n的向量:
。则y对x的求导公式为:
矩阵对标量求导:
Y是一个m×n的矩阵,则矩阵Y对标量x的求导为:
标量对矩阵求导:
反过来,标量x对矩阵Y的求导为:
矩阵对矩阵求导:
X是一个m×n的矩阵,
下图是各种求导的布局方式:
分子布局:
以下两种只存在于分子布局中:
分母布局:
可以看出,在分子布局与分母布局之间转换时,实际上是将矩阵进行转置。