线性回归 及 正则化 公式推导

• 基础公式：

∂BA/∂A = B^T

∂A^TB/∂A = B

∂A^TBA/∂A = 2BA

• 模型函数：

h_θ(x) = xθ

• 无正则化损失函数：

J(θ) = 1/2(Xθ-Y)²

令偏导∂J(θ)/∂θ等于0，得：

θ = (X^TX)^-1X^TY

• 正则化损失函数：

J(θ) = 1/2(Xθ-Y)²+1/2λθ²

令偏导∂J(θ)/∂θ等于0，得：

θ = (X^TX+λI)^-1X^TY

 

 

参考文献：

https://blog.csdn.net/fleurdalis/article/details/54931721

https://blog.csdn.net/u013363719/article/details/22752893