一、线性回归
线性回归是一种线性模型，线性模型基本形式如下，主要包括线性回归、对数几率回归、线性判别分析等几种经典模型。
1、模型函数
2、模型学习
我们可以使用不同的技术来从数据中学习线性回归模型，例如普通最小二乘法的线性代数解和梯度下降优化。
基于均方误差（平方损失，欧氏距离）最小化来进行模型求解的方法称为最小二乘法。在线性回归中，最小二乘法就是试图找到一条直线，是所有样本到直线上的欧氏距离之和最小。
注：推导过程见二元线性回归最小二乘法公式推导
3、经验规则
我们可以删除非常类似（相关）的变量，并尽可能移除数据中的噪声。线性回归是一种运算速度很快的简单技术，也是一种适合初学者尝试的经典算法。
4、扩展
多元线性回归
对数线性回归
广义线性模型
5、python实现
Python - 线性回归（Linear Regression) 的 Python 实现
二、逻辑回归（logistic回归）
1、模型函数
2、损失函数
逻辑回归 logistics regression 公式推导
3、python实现
参考文献