Task 4 机器学习模型推导
1 线性回归模型
线性回归是一种被广泛应用的回归技术，也是机器学习里面最简单的一个模型，它有很多种推广形式，本质上它是一系列特征的线性组合，在二维空间中，你可以把它视作一条直线，在三维空间中可以视作是一个平面。
线性回归最普通的形式是
其中x向量代表一条样本{x1,x2,x3…xn}，其中x1，x2，x3代表样本的各个特征，w是一条向量代表了每个特征所占的权重，b是一个标量代表特征都为0时的预测值，可以视为模型的basis或者bias。看起来很简单的.
这里的w乘以x在线性代数中其实代表的是两个向量的内积，假设w和x均为列向量，即代表了w和x向量的内积w’x。同样的这里的x也可以是一个矩阵X，w与X也可以写成w’X，但是b也要相应的写为向量的形式。
2 CART回归树
GBDT是一个集成模型，可以看做是很多个基模型的线性相加，其中的基模型就是CART回归树。
CART树是一个决策树模型，与普通的ID3，C4.5相比，CART树的主要特征是，他是一颗二分树，每个节点特征取值为“是”和“不是”。举个例子，在ID3中如果天气是一个特征，那么基于此的节点特征取值为“晴天”、“阴天”、“雨天”，而CART树中就是“不是晴天”与“是晴天”。
这样的决策树递归的划分每个特征，并且在输入空间的每个划分单元中确定唯一的输出。
3 XGBoost
Note：
Reference
1.DataWhale 学习手册；
2.https://zhuanlan.zhihu.com/mlbasic；