【备忘】多元线性回归正规方程求解参数推导过程

 * 矩阵求导过程略

线性回归中的正规方程求解法与梯度下降迭代优化不同，一步到位直接得到最优参数结果，但是时间复杂度非常高，达到了，适用于数据量比较小的情况，一旦数据量过大求解的时间成本呈指数扩张；并且当为奇异阵（不可逆）时正规方程不可用，此时还是采用梯度下降法较好，事实上基本所有实现线性回归算法的库中都用的梯度下降法而非正规方程求解。