简介的线性回归推导

线性回归的推导

说道线性回归看到这篇博文的大家可能还不了解什么叫做回归?
什么是回归呢？
回归，指的是研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法。
通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。

---

那么我们知道什么是回归了，在理解线性回归就不是太难了。
顾名思义，线性回归，它带有线性说明它是连续的
下面我们将用两种思路来推导线性回归

• 矩阵运算
• 梯度下降

线性回归矩阵求导推导

$\theta = (x^TX)^{-1}X^Ty$θ=(xTX)−1XTy
此时 θ 就是线性方程中的系数
那么上面的方程是如何来的呢？
上面线性方程的理论依据是最小二乘法
$最小二乘法公式:$最小二乘法公式:
$\min\limits_{w}||y - Xw||_2^2$wmin​∣∣y−Xw∣∣22​
$最小二乘法公式中右上角的二代表2次方，右下角的二代表2范数$最小二乘法公式中右上角的二代表2次方，右下角的二代表2范数
那么最小二乘法公式又与线性方程有啥关系呢？
范数

• 向量1-范数$||X|| _1 = \sum_{i=1}^n|x_{i}|$∣∣X∣∣1​=i=1∑n​∣xi​∣那么这个公式代表所有元素的绝对值之和
• 向量2-范数$||X||_2 = \sqrt{\sum_{i=1}^nx_i^2}$∣∣X∣∣2​=i=1∑n​xi2​​这个代表所有元素的平方和的开平方
• 向量的无穷范数$||X||_{\infty} = \max_{1\leq i\leq n}|x_i|$∣∣X∣∣∞​=1≤i≤nmax​∣xi​∣

将最小二乘法的公式展开

• $\min_{w} = (\sqrt{\sum_{i = 1}^n(X_iw - y_i)^2})^2$wmin​=(i=1∑n​(Xi​w−yi​)2​)2最外面的平方与里面的根号抵消于是变成了$\min_{w} = \sum_{i = 1}^n(X_iw - y_i)^2$wmin​=i=1∑n​(Xi​w−yi​)2
• 此时最小二乘法可以成矩阵的形式表达：$\min_{w} = (X_iw - y_i)^2$wmin​=(Xi​w−yi​)2
• 此时公式一定大于等于0
• 求导，令导数等于0，就可以求解最小值
  矩阵求导区别于普通求导
  
  该图片引用与博客的地址为：线性方程矩阵求导----正规方程
  最小二乘法矩阵求导

• $(X\theta - y)^2$(Xθ−y)2
• $(X\theta - y)(X\theta - y)$(Xθ−y)(Xθ−y)
• $\frac{\partial}{\partial\theta}[(X\theta - y)^T(X\theta - y)]$∂θ∂​[(Xθ−y)T(Xθ−y)]
• $\frac{\partial}{\partial\theta}[(\theta^TX^T - y^T)(X\theta - y)]$∂θ∂​[(θTXT−yT)(Xθ−y)]
• $\frac{\partial}{\partial\theta}(\theta^TX^TX\theta - \theta^TX^Ty -y^TX\theta + y^Ty)$∂θ∂​(θTXTXθ−θTXTy−yTXθ+yTy)
• $\frac{\partial}{\partial\theta}[X^TX\theta + (\theta^TX^TX)^T - X^Ty-(y^TX)^T]$∂θ∂​[XTXθ+(θTXTX)T−XTy−(yTX)T]
• $\frac{\partial}{\partial\theta}[X^TX\theta + X^TX\theta - X^Ty-X^Ty]$∂θ∂​[XTXθ+XTXθ−XTy−XTy]
• $X^TX\theta + X^TX\theta - X^Ty-X^Ty$XTXθ+XTXθ−XTy−XTy
• $2X^TX\theta - 2X^Ty$2XTXθ−2XTy
• $2X^TX\theta - 2X^Ty = 0$2XTXθ−2XTy=0
• $X^TX\theta = X^Ty$XTXθ=XTy
• $\theta = (X^TX)^{-1} X^Ty$θ=(XTX)−1XTy
  推演完毕
  将公式运用起来，我将在另一篇博文中引用这个公式，做一个例子