决策树-decision tree

WIKI

Decision tree learning uses a decision tree (as a predictive model) to go from observations about an item (represented in the branches) to conclusions about the item's target value (represented in the leaves).

决策树学习算法包含特征选择、决策树的生成与决策树的剪枝

特征选择

信息增益

熵

表示随机变量不确定性的度量

条件熵

随机变量X给定的条件下随机变量Y的条件熵定义为：

X给定条件下Y的条件概率分布的熵对X的数学期望

信息增益

特征A对训练数据集D的信息增益g(D,A)定义为：

集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)只差

根据信息增益准则的特征选取的方法：对训练数据集（或子集）D，计算其每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征。

信息增益的算法

信息增益比

特征A对训练数据集D的信息增益比定义为：

其信息增益比g(D,A)与训练数据集D关于特征A的值的熵HA(D)之比

决策树的生成

 

ID3算法

ID3相当于用极大似然法进行概率模型的选择。

C4.5算法

C4.5在生成的过程中，用信息增益比来选择特征。

决策树的剪枝

决策树的剪枝通过决策树整体的损失函数或代价函数来实现。

损失函数

决策树的生成只考虑了通过提高信息增益（或信息增益比）对训练数据进行更好的拟合，而决策树的剪枝通过优化损失函数还考虑了减小模型复杂度。决策树的生成学习局部的模型，而决策树的剪枝学习整体的模型。

树的剪枝算法

CART算法

CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。

CART生成

决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则，进行特征选择，生成二叉树。

• 回归树的生成

最小二乘回归树生成算法

• 分类树的生成

分类树用基尼指数选择最优特征，同时决定该特征的最优二值切分点。

CART生成算法

PS：算法停止计算的条件是结点中的样本个数小于预定阙值，或样本集的基尼指数小于预定阙值（样本基本属于同一类），或者没有更多特征。

CART剪枝