机器模型简介（一）：线性回归

       在回归问题中，我们通过构建一个关于x的模型来预测y。这种问题通常可以利用线性回归(Linear Regression)来解决。

       模型的目标值y是输入变量x的线性组合。表达形式为：

                                    

       其中hat{y} 是预测值，向量w = (w_0，...，w_p)为模型参数，w_0为截距项，w_1...w_p为成员系数。以下是求解回归模型的一系列方法。

       一、最小二乘法

       最小二乘法是求解使得数据集实际观测数据和预测数据（估计值）之间残差平方和最小时的模型参数。数学形式可表达为：

                                                                

       以下是用python3实现最小二乘回归的小例子。求解可得w0 = 0，w1 = 0.5，w2 = 0.5。

from sklearn import linear_model
clf = linear_model.LinearRegression()
clf.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
print('w0:', clf.intercept_) 
print('wi:', clf.coef_)

最小二乘回归