决策树（补充）

　算法核心问题

• 该按什么样的次序来选择变量（属性）？
• 最佳分离点（连续的情形）在哪儿？

ID3

• 信息增益计算
  

C4.5

• 信息增益的方法倾向于首先选择因子数较多的变量
• 信息增益的改进:增益率
  

CART分类树算法

• 大部分流行机器学习软件的决策树都是使用CART实现的
• 可以支持分类和回归
• 在分类树算法中使用基尼指数选择变量
  

韩家炜 p221

预剪枝和后剪枝 看《Python 大战机器学习》