我们知道当X 为m*n的矩阵 输入,Y为m*1的输出。那么为了求出w

Xw = Y,我们可以用线性回归并让 预测值和真实值的差的平方最小,那么

w最简洁推导求解最小二乘法(线性回归,监督学习)


证明过程:

最简洁推导求解最小二乘法(线性回归,监督学习)

矩阵结构为:

最简洁推导求解最小二乘法(线性回归,监督学习)

我们发现yTy是一个常数,也就是说在最小化loss的时候,我们可以不管yTy。

最简洁推导求解最小二乘法(线性回归,监督学习)

我们对loss函数进行偏微分,这里用到了一个矩阵微分公式,在matrix cookbook里有.

最简洁推导求解最小二乘法(线性回归,监督学习)第10页。

aTw 就微分为a了 。

最简洁推导求解最小二乘法(线性回归,监督学习)第11页

wTBw就微分为 (B + BT)w,而B等于BT,因为  BT = (XTX)T = XT XTT = XTX = B。所以化简为2Bw.

最简洁推导求解最小二乘法(线性回归,监督学习)

最后把B的代数式代回原式中就行了。

相关文章:

  • 2021-07-31
  • 2022-01-11
  • 2022-01-07
  • 2021-10-04
  • 2021-12-25
  • 2022-12-23
  • 2022-12-23
  • 2021-12-13
猜你喜欢
  • 2021-09-23
  • 2021-11-18
  • 2021-12-25
  • 2021-05-13
  • 2021-06-02
  • 2021-11-14
相关资源
相似解决方案