统计学习方法五 决策树分类

决策树分类

1，概念

　　　　

　　　　

2，决策树算法

2.1，特征选择：

　　熵：值越大，不确定性因素越大；条件熵：条件对结果的影响不确定性；信息增益；信息增益比

　　　　

　　　　　　　　　　　　

　　　　　　　

 

2.2，决策树生成算法

　　1，ID3算法

　　

　　

　　2，c4.5算法

　　

3，实例说明

　　

          　 

                                

                             

                           

4，CART决策树算法

                 

4.1 决策树生成

　　回归树生成

　            

　　分类树生成

　　        

             

                

                     

                          

　　　举个例子：

 　　　　

 　　　　第一种划分方法：{“学生”}、{“老师”、“上班族”} 来预测婚姻

　　　　　　　　

　　　　第二种划分方法：{“老师”}、{“学生”、“上班族”}

                           

　　　　第三种划分方法：{“上班族”}、{“学生”、“老师”}

                        

4.2，决策树剪枝

        　　

 

　　　　例如：图1中ti表示决策树中第i个节点，A、B表示训练集中的两个类别，A、B之后的数据表示落入该节点分别属于A类、B类的样本个数。 

 　　　　　　　　

　　　

5，决策树算法比较

　　  

6，总结

　　个人认为算法通过使用训练集构建一个决策树后，获得一系列的规则，输入测试集后，按照规则获取到叶节点，然后根据叶节点最大占有比的那个类为该测试集所属的类，从而达到分类效果

 

参考网址：

　　1，cart例子

　　2，剪枝例子

　　3，决策树比较