线性回归 linea regression 原理及推导

概述

• 优点：容易计算，易于理解和实现
• 缺点：容易欠拟合
• 适用数据类型：数值型和标称型

口头描述

线性回归试图构造一个线性函数，去拟合尽可能多的样本点。重点是如何确定线性函数的参数，使得该函数尽量穿过样本点，一般使用均方误差最小化来作为参数拟合效果的标准。

算法推导（解方程的方法）

• 给定训练数据集$D=\{(x_i,y_i)\}_{i=1}^m$D={(xi​,yi​)}i=1m​,样本$x_i$xi​由$d$d个属性描述，线性模型为:
  $f(x_i)=\omega^Tx_i+b \; ,\;f(x_i) \backsimeq y_i$f(xi​)=ωTxi​+b,f(xi​)⋍yi​
• 使用均方误差衡量$f(x)$f(x)与$y$y之间的差别，我们的目标是使他们的差别最小化。
  $E_s(square \; loss)=\sum_{i=1}^{m}(f(x_i)-y_i)^2$Es​(squareloss)=i=1∑m​(f(xi​)−yi​)2
• 使用矩阵进行表达
  • 参数向量矩阵：
    $\hat{\omega}=(\omega ;b)= \begin{bmatrix} \omega_1 \\ \omega_2\\ ... \\ \omega_d \\ b \end{bmatrix}$ω^=(ω;b)=⎣⎢⎢⎢⎢⎡​ω1​ω2​...ωd​b​⎦⎥⎥⎥⎥⎤​
    注意: $\hat{\omega}$ω^是$d+1$d+1行$1$1列的
  • 数据集矩阵：
    $X=\begin{bmatrix} x_{11}&x_{12}&\dots&x_{1d}&1 \\ x_{21}&x_{22}&...&x_{2d}&1 \\ \vdots&\vdots&\ddots& \vdots&\vdots\\ x_{m1}&x_{m2}& \dots&x_{md}&1 \end{bmatrix} =\begin{bmatrix} x_1^T&1 \\ x_2^T&1 \\ \vdots&\vdots \\ x_m^T&1 \end{bmatrix}$X=⎣⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​…...⋱…​x1d​x2d​⋮xmd​​11⋮1​⎦⎥⎥⎥⎤​=⎣⎢⎢⎢⎡​x1T​x2T​⋮xmT​​11⋮1​⎦⎥⎥⎥⎤​
    注意：最后一列全是1，前d个元素对应样本的d个属性值
  • 标记矩阵:
    $y=\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}$y=⎣⎢⎢⎢⎡​y1​y2​⋮ym​​⎦⎥⎥⎥⎤​
• 则均方误差为：
  $E_s=(y-X\hat{\omega})^T(y-X\hat{\omega})$Es​=(y−Xω^)T(y−Xω^)
• 令$E_{\hat{\omega}}= (y-X\hat{\omega})^T(y-X\hat{\omega})$Eω^​=(y−Xω^)T(y−Xω^),对$\hat{\omega}$ω^求导得：
  $\frac{\partial E_{\hat{\omega}}}{\partial \hat{\omega}}=2X^T(X\hat{\omega}-y)$∂ω^∂Eω^​​=2XT(Xω^−y)
  令上式为零可得$\hat{\omega}$ω^的最优解的闭式解
  $\hat{\omega}^*=(X^TX)^{-1}X^Ty$ω^∗=(XTX)−1XTy
  解出上式，也就得到了模型的公式：
  $f(\hat{x_i})=\hat{x_i}^T(X^TX)^{-1}X^Ty$f(xi​^​)=xi​^​T(XTX)−1XTy
  其中，
  $\hat{x_i}= \begin{bmatrix} x_{i1}\\ x_{i2}\\ \vdots \\ x_{id} \\ 1 \end{bmatrix}$xi​^​=⎣⎢⎢⎢⎢⎢⎡​xi1​xi2​⋮xid​1​⎦⎥⎥⎥⎥⎥⎤​

算法推导（梯度下降）

目标是使均方误差最小化，即：
$min \;E(square \; loss)=\frac{1}{2m}\sum_{i=1}^{m}(f_{\hat{\omega}}(x_i)-y_i)^2$minE(squareloss)=2m1​i=1∑m​(fω^​(xi​)−yi​)2
这里的$\frac{1}{2m}$2m1​是为了方便求偏导

对误差函数做偏导,对于每个特征($\omega ^n$ωn)，其梯度（偏导）为：
$\frac{\partial E}{\partial \omega^n}=\frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^n_i$∂ωn∂E​=m1​i=1∑m​(fω^​(xi​)−yi​)⋅xin​
这里是对每一个特征进行了求导，因为
$f_{\hat{\omega}}(x_i)=\omega ^0x^0_i +\omega^1x^1_i+\dots+\omega^nx^n_i\;\;\;(x_i:the \; i^{th} \; data)$fω^​(xi​)=ω0xi0​+ω1xi1​+⋯+ωnxin​(xi​:theithdata)
则梯度下降的流程就是：

重复此过程直到收敛{

$\omega^0:=\omega^0-\alpha \frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^0_i$ω0:=ω0−αm1​i=1∑m​(fω^​(xi​)−yi​)⋅xi0​
$\omega^1:=\omega^1-\alpha \frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^1_i$ω1:=ω1−αm1​i=1∑m​(fω^​(xi​)−yi​)⋅xi1​
$\vdots$⋮
$\omega^n:=\omega^n-\alpha \frac{1}{m}\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)\cdot x^n_i$ωn:=ωn−αm1​i=1∑m​(fω^​(xi​)−yi​)⋅xin​
}
解释一下，$\sum_{i=1}^{m}(f_{\hat{\omega}} (x_i)-y_i)$∑i=1m​(fω^​(xi​)−yi​)的意思是计算每个预测值与实际值的差别的总和。另外，对每个$\omega^i$ωi进行更新都是独立的，应当把所有的$\omega^i$ωi全部计算出来后再对其进行赋值更新。

$X^TX$XTX的要求

当矩阵$X^TX$XTX是满秩矩阵的时候，上述最优解成立，但是很多情况下$X^TX$XTX往往不是满秩矩阵，此时可以解出$\hat{\omega}$ω^,他们都能使均方误差最小化，选择哪一个作为输出，将由学习算法的归纳偏好决定，常见的做法是引入正则化项。

对数线性回归

我们希望回归模型去逼近$ln\;y$lny不是$y$y时，模型变为
$ln\; y=\omega^Tx+b$lny=ωTx+b
这就是对数线性回归