1. 基本概念
回归（regression）是监督学习（given ） 之间的关系，特定是当输入变量的值发生变化时，输出变量的值随之发生的变化。
回归模型正是表示从输入变量（，也就是一个一维的数值，如果输出也是多维呢？至少不是一个分类任务了）之间映射的函数。回归问题的学习等价于函数拟合，选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。
- 学习 ⇒ 学习系统（learning phase）⇒ 对象（输入）是训练数据
- 预测 ⇒ 预测系统（predicate phase）⇒ 对象（输入）是测试数据
回归问题分为学习和预测两个过程。首先给定一个训练数据集：
学习系统基于训练数据构建一个模型，即函数 。
- 回归问题按照输入变量的个数，分为一元回归和多元回归；
- 按照输入变量和输出变量之间关系（即模型的类型），分为线性模型和非线性模型；
二者一组合，就得出四种回归的分类了：一元线性，一元非线性，多元线性，多元非线性。
回归学习最常用到的损失函数是平方损失函数，在此问题下，回归问题可以由著名的最小二乘法（least squares）求解。
比如注明的线性回归问题：
2. regressor 等概念的认识
Linear Regression with One Regressor
考虑如下的线性方程，
- 是（直线的）截距；
- 是斜率；
-
该线性方程，是一个具有单回归子（regressor）的回归模型，
- Y 是因变量，
- X 是独立变量（自变量）或者叫回归子（regressor）
-
表示着总体回归函数，
- 是参数（parameters）或者系数（coefficients）
则是误差项（error term）
3. exponential regression model
What does a “closed-form solution” mean?
考虑如下的简单指数型回归模型，其唯一的 regressor 就是截距：
目标函数为：
求和号展开，并对