summary: 本文总结了几种常见的线性回归的的方式以及各种方式的优缺点。
1，简单现性回归（OSL）：
OSL：就是一种最为简单的普通最小二乘法的实现，y = a0 + a1*x1 + a2*x2 + a3*x3 + .... 。需要注意的是，对自变量（即训练样本中的特征）进行拟合都是一次方的，即简单的一次线性关系。我们只是对每个特征加了一个对应的权重而已。
特点：
对于普通最小二乘的系数估计问题，其依赖于模型各项的相互独立性。当各项是相关的，且设计矩阵的各列近似线性相关，那么，设计矩阵会趋向于奇异矩阵，这会导致最小二乘估计对于随机误差非常敏感，产生很大的方差。例如，在没有实验设计的情况下收集到的数据，这种多重共线性（multicollinearity）的情况可能真的会出现。
示例：
# 在 Jupyter notebook 中实现 >>> from sklearn import linear_model >>> reg = linear_model.LinearRegression() >>> reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2]) LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False) >>> reg.coef_ array([ 0.5, 0.5]) # y = 0.5 * x1 + 0.5 * x2