最小二乘法及矩阵求导

作者：jiandanjinxin
链接：https://www.jianshu.com/p/edaf949bcaeb
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

矩阵的迹定义如下

 

 

 

 

 

定理７.png

迹方法.png

 

最小二乘法

最小二乘法１.png

最小二乘法２.png

 

 

 

最小二乘的概率解释

 

 

 

最小即可。这就解释了线性回归为什么要选用最小二乘作为衡量指标了。

参考文献

cs231vecDerivs

cs229线性代数矩阵论

cs229-Probability Theory

The Matrix Cookbook矩阵求导术（上）

矩阵求导术（下）

道理我都懂，但是神经网络反向传播时的梯度到底怎么求？

矩阵求导解最小二乘问题

最小二乘法小结

最小二乘法（一般形式和矩阵形式）

矩阵求导迹的求导技巧

机器学习中的矩阵/向量求导

最小二乘的概率解释