在矩阵求导中,因变量可以是标量、向量以及矩阵,而自变量同样如此。

第一个例子:考虑一个向量微积分的梯度,该函数有三个自变量,Deep Learning 学习笔记7:矩阵求导公式汇总,则该函数的梯度是:

                                             Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总代表的是一个单位向量。这种广义导数可以看做是标量Deep Learning 学习笔记7:矩阵求导公式汇总对向量Deep Learning 学习笔记7:矩阵求导公式汇总的求导,可以表示为如下形式:

                                             Deep Learning 学习笔记7:矩阵求导公式汇总

以下表格列出了六种求导的情况。

Deep Learning 学习笔记7:矩阵求导公式汇总

向量对标量求导:

设y是一个列向量:Deep Learning 学习笔记7:矩阵求导公式汇总, x是一个标量,则y对x的求导公式为:Deep Learning 学习笔记7:矩阵求导公式汇总

标量对向量求导:

设y是一个标量,x是一个向量:Deep Learning 学习笔记7:矩阵求导公式汇总,则y对x的求导公式为:Deep Learning 学习笔记7:矩阵求导公式汇总 .

向量对向量求导:

设y是一个m×1的向量:Deep Learning 学习笔记7:矩阵求导公式汇总。x是一个1×n的向量:Deep Learning 学习笔记7:矩阵求导公式汇总。则y对x的求导公式为:Deep Learning 学习笔记7:矩阵求导公式汇总

矩阵对标量求导:

Y是一个m×n的矩阵,则矩阵Y对标量x的求导为:Deep Learning 学习笔记7:矩阵求导公式汇总

标量对矩阵求导:

反过来,标量x对矩阵Y的求导为:Deep Learning 学习笔记7:矩阵求导公式汇总

 

矩阵对矩阵求导:

X是一个m×n的矩阵,Deep Learning 学习笔记7:矩阵求导公式汇总

下图是各种求导的布局方式:

Deep Learning 学习笔记7:矩阵求导公式汇总

分子布局:

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

以下两种只存在于分子布局中:

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

分母布局:

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

可以看出,在分子布局与分母布局之间转换时,实际上是将矩阵进行转置。

矢量对矢量求导:

Deep Learning 学习笔记7:矩阵求导公式汇总

标量对矢量求导:

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

矢量对标量求导:

Deep Learning 学习笔记7:矩阵求导公式汇总

标量对矩阵求导:

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

矩阵对向量求导:

Deep Learning 学习笔记7:矩阵求导公式汇总

包含矩阵的求导:

Deep Learning 学习笔记7:矩阵求导公式汇总

微分恒等式:

Deep Learning 学习笔记7:矩阵求导公式汇总

Deep Learning 学习笔记7:矩阵求导公式汇总

相关文章:

  • 2022-01-23
  • 2021-04-02
  • 2021-11-18
  • 2021-11-18
  • 2021-12-12
  • 2021-12-11
  • 2021-05-08
  • 2021-08-08
猜你喜欢
  • 2021-08-23
  • 2021-08-27
  • 2021-11-18
  • 2021-12-02
  • 2022-02-01
  • 2022-01-01
  • 2021-11-22
相关资源
相似解决方案