1.本节课的内容提要
2.Basic function
线性回归（linear regression）有两个特点：
第一点，预测的值（target）是连续的（continuous）（这里是与分类做比较，classification的结果值的离散的）
第二点，线性回归（Linear regression），它是linear to the parameters(而不是input value） to be learned。
Basic function的作用是：
3.判断模型的准确性（Loss function）
4.Optimal solution
既然我们已经知道怎么去测量实验模型的准确性，那么我们接下来就要关注怎么样去得到线性模型的最优参数了，一般我们会采用optimal solution（常用梯度下降法）
关于optimal solution，有两个知识点：
梯度下降算法的基本思路：
这里的理论性太强了，我们直接选择用一个实例来展示（SGD，随机梯度下降）：
在一般的实验中，我们习惯性会采用随机梯度下降算法（而不是梯度下降），原因是：
5.Regulation（用于防止overfitting的）
这里就延伸出一个问题了，如何找到合适的lambda数值呢？
由上图我们可以知道，lambda的数值与模型复杂度是成反比的，当lambda越小，模型就越复杂，会出现overfitting，当它太大的时候，就会出现underfitting
regularisation一般来说有两种方法，一阶L1（Lasso regularisation）和L2（Ridge regularisation）
它们之间的区别和适用情况：