CART算法

前言

本文只涉及分类树，而不涉及回归树，本文大部分内容均来自于李航博士的《统计学习方法》，在此基础上增加一些个人理解

正文

分类树假设决策树是一棵二叉树
分类树其实与决策树差不多，不同之处在于特征选择以及树的剪枝

决策树利用信息增益选择最优特征，分类树利用基尼指数选择最优特征

决策树的剪枝是在所生成的决策树递归地进行剪枝，分类树利用α${\displaystyle \alpha }$的不同取值范围对分类树进行剪枝生成一系列子树，从子树中选取最优解

特征选择

分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点

注：

最优二值切分点

假设一个训练数据集为D${\displaystyle D}$，特征为A${\displaystyle A}$，最优二值切分点就是找到一个特征值Ai${\displaystyle A_i}$，使得当A=Ai${\displaystyle A=A_i}$时，数据集D${\displaystyle D}$能够很好的归类

基尼指数

分类问题中，假设有K${\displaystyle K}$个类，样本点属于第k${\displaystyle k}$类的概率为pk${\displaystyle p_k}$则概率分布的基尼指数定义为

Gini(p)=∑k=1kpk(1−pk)=1−∑k=1kp2k$$Gini(p)=\sum _{k=1}^k{p}_k\left(1-p_k\right)=1-\sum _{k=1}^k{p}_k^2$$

注:

∑k=1kpk=1$$\sum _{k=1}^k{p}_k=1$$

对于给定的样本集合D${\displaystyle D}$，其基尼指数为

Gini(D)=1−∑k=1k(|ck||D|)2$$Gini(D)=1-\sum _{k=1}^k{\left({\displaystyle \frac{\left|c_k\right|}{\left|D\right|}}\right)}^2$$

Ck${\displaystyle C_k}$是D${\displaystyle D}$中属于第k${\displaystyle k}$类的样本子集，K${\displaystyle K}$是类的个数

如果样本集合D${\displaystyle D}$根据特征A${\displaystyle A}$是否取某一可能值a${\displaystyle a}$被分割成D1${\displaystyle D_1}$和D2${\displaystyle D_2}$两部分，即

D1={(x,y)∈D|A(x)=a},  D2=D−D1$$D_1=\left\{(x,y)\in D|A(x)=a\right\},D2=D-D1$$

则在特征A${\displaystyle A}$的条件下，集合D${\displaystyle D}$的基尼指数定义为

Gini(D,A)=|D1||D|Gini(D1)+|D2||D|Gini(D2)$$Gini(D,A)={\displaystyle \frac{\left|D_1\right|}{\left|D\right|}}Gini(D_1)+{\displaystyle \frac{\left|D_2\right|}{\left|D\right|}}Gini(D_2)$$

基尼指数Gini(D)${\displaystyle Gini(D)}$表示集合D${\displaystyle D}$的不确定性，基尼指数Gini(D,A)${\displaystyle Gini(D,A)}$表示经A=a${\displaystyle A=a}$分割后集合D${\displaystyle D}$的不确定性. 基尼指数越大，集合的不确定性也越大

CART生成算法

从根节点开始，递归地对每个结点进行一下操作

1. 对于当前集合D${\displaystyle D}$，计算现有特征对该数据的基尼指数

   注：
   要计算所有特征的所有可能取值对该数据的基尼指数

2. 选择基尼指数最小的特征及其对应的切分点作为最优特征与最优切分点. 依据最优特征及最优切分点，从现结点生成两个子结点，将训练数据集依特征分配到两个子结点当中去

3. 对两个子结点递归地调用1，2；直至满足停止条件

分类树的剪枝

分类树利用α${\displaystyle \alpha }$的不同取值范围对分类树进行剪枝生成一系列子树，从子树中选取最优解

注：
α${\displaystyle \alpha }$的值是根据计算得来的，而不是随机设定的区域

从整体数T0${\displaystyle T_0}$开始剪枝，对T0${\displaystyle T_0}$的内部任意结点t${\displaystyle t}$，以t${\displaystyle t}$为单结点的树的损失函数为

Cα(t)=C(t)+α$$C_{\alpha }(t)=C(t)+\alpha$$

以t${\displaystyle t}$为根节点的子树Tt${\displaystyle T_t}$的损失函数是

Cα=C(Tt)+α|Tt|$$C_{\alpha }=C(T_t)+\alpha |T_t|$$

当α=0${\displaystyle \alpha =0}$或α${\displaystyle \alpha }$很小时，有不等式

Cα(Tt)<Cα(t)$$C_{\alpha }(T_t)<C_{\alpha }(t)$$

当α${\displaystyle \alpha }$增大时，在某一α${\displaystyle \alpha }$处有

Cα(Tt)=Cα(t)$$C_{\alpha }(T_t)=C_{\alpha }(t)$$

当α${\displaystyle \alpha }$继续增大时，有

Cα(Tt)>Cα(t)$$C_{\alpha }(T_t)>C_{\alpha }(t)$$

这时，就可以进行剪枝操作

假设有一棵树T0${\displaystyle T_0}$，对T0${\displaystyle T_0}$中每一内部结点t${\displaystyle t}$, 计算

g(t)=C(t)−C(Tt)|Tt|−1$$g\left(t\right)={\displaystyle \frac{C\left(t\right)-C\left(Tt\right)}{\left|T_t\right|-1}}$$

它表示剪枝后整体损失函数减少的程度. 在T0${\displaystyle T_0}$中减去g(t)${\displaystyle g(t)}$最小的Tt${\displaystyle T_t}$，得到的子树作为T1${\displaystyle T_1}$，同时将最小的g(t)${\displaystyle g(t)}$设为 α1${\displaystyle {\alpha }_1}$. T1${\displaystyle T_1}$为区间[α1,α2)${\displaystyle [{\alpha }_1,{\alpha }_2)}$的最优子树
对于子树T1${\displaystyle T_1}$，减去g(t)${\displaystyle g(t)}$最小的Tt1${\displaystyle T_{t}1}$，得到的子树作为T2${\displaystyle T_2}$，同时将最小的g(t)${\displaystyle g(t)}$设为α2${\displaystyle {\alpha }_2}$，T2${\displaystyle T_2}$为区间[α2,α3)${\displaystyle [{\alpha }_2,{\alpha }_3)}$的的最优子树

...$$...$$

经过上面的操作我们能得到一个子树集合{T1,T2,...Tn}${\displaystyle \left\{T_1,T_2,...T_n\right\}}$，即其对应的α${\displaystyle \alpha }$值，这样就可以根据交叉验证选取最优子树Tα${\displaystyle T_{\alpha }}$

注：
当α${\displaystyle \alpha }$的值增大时，为了得到更好的模型，模型的复杂度就会降低（复杂度降低就意味着剪枝），这样从剪枝后的子树集合中选择最好的模型就可以解决过度拟合问题

参考资料

[1]李航.决策树.统计学习方法.2012