一、衡量标准：
1、熵：随机变量不确定性的度量
2、信息增益：特征X使类Y的不确定性减少的程度
举例计算：有如下数据，4个特征，1个结果（play）
计算类Y(打不打球)的熵值：0.94；
Outlook = sunny 的熵值计算： -2/5*log2(2/5)-3/5*log2(3/5) = 0.971;
3、信息增益率：
二、算法分类：
1、ID3；
2、C4.5;(解决ID3问题，考虑自身熵值，如ID)：信息增益/自身熵值
3、CART;
三、补充
1、若特征是连续值：进行数据的二分（离散化）
四、剪枝：防止过拟合（在训练集上表现很好，但在测试集上表现不好）
1、预剪枝：边建立决策树边进行剪枝（实用）；（sklearn 可视化）
2、后剪枝：建立完决策树再剪枝；