线性模型
问题介绍
线性模型,通俗来讲就是给定很多个数据点,希望能够找到一个函数来拟合这些数据点令它的误差最小,比如简单的一元函数就可以来表示给出一系列的点，找一条直线，使得直线尽可能与这些点接近，也就是这些点到直线的距离之和尽可能小。用数学语言来严格表达 ，即 给定由 d 个属性描述的示例 x = (x1，x2 ，x3 ， ...，xd) ' 其中 Xi 表示X在第i个属性上面的取值， 线性模型就是试图学习 一个通过属性的线性组合来进行预测的函数，即一元线性模型非常简单，每个$i$对应于一个数据点，希望建立一个模型 ,其中 ,y一般可以用向量来表达:
w=(w1,w2,...,wd)和b都是要学习的参数,模型通过不断地调整w和b,最后就能得到一个最优的模型.
一维线性回归
给定数据集，线性回归希望能够优化出一个好的函数
，使得
能够和
尽可能接近。
如何才能学习到参数w和b呢？很简单，只需要确定如何衡量与之间的差别，一般通过损失函数（Loss Funciton)来衡量：
取平方是因为距离有正有负，我们希望将它们变为全是正的。这就是著名的均方误差。基于均方误差最小化来进行模型求解的办法也称为"最小二乘法",我们要做的事情就是希望能够找到和，使得：
均方差误差非常直观，也有着很好的几何意义，对应了常用的欧式距离。现在要求解这个连续函数的最小值，我们很自然想到的方法就是求它的偏导数，让它的偏导数等于0来估计它的参数，即：
求解以上两式，我们就可以得到w和b的最优解：
其中
多维线性回归
参考: 深度学习入门之PyTorch(廖星宇)