目录
一、分子布局与分母布局
求导时可能会出现两种基本的形式，分别为分子布局和分母布局。
分子布局，Numerator layout，是指分子为列向量或者分母为行向量。分母布局，Denominator layout，是指分子为行向量或者分母为列向量。对于其他的一些形式，我们既可以按分子布局处理，也可以按分母布局处理。
我们约定用y、y和Y分别表示标量、向量和矩阵。
二、矩阵求导的一般形式
对于分子布局：
对于分母布局：
对于特殊的：
三、常用到的矩阵求导
对于以上表格中的内容，只要能确定分子为列向量或者分母为行向量，就按分子布局来求，只要确定分子为行向量或者分母为列向量，就按分母布局来求。
比如,此处x代表向量。如果x为行向量，那么就属于分子布局，结果就是A，如果x时列向量，就属于分母布局，结果为A的转置。
四、标准方程法
标准方程法是代替梯度下降法求函数最优解的一种方法。以线性回归为例：
优化函数为：
由于MSE的优化函数为凸函数，只有一个全局最优解，所以直接使导数为零即可。