最小二乘法原理及代码实现

在机器学习中，尤其是回归模型，经常用到梯度下降法和最小二乘法，这里把最小二乘法的原理及代码实现总结处理。

首先要清楚，最小二乘法要解决的是什么问题呢？根据前面的线性回归，我们知道线性回归的假设函数：
损失函数：
损失函数计算训练数据集中每一个样本实例的估计值和实际值的平方差并求平均，这里构建损失函数来衡量估计值与实际值之间的误差，将最小化损失函数作为约束条件求解参数向量的最优解。