最近看西瓜书的决策树这一章，给我看懵了。感觉得自己动手一步一步计算才能理解具体怎么构造的，然后才能写程序。就以书上的西瓜集2.0为例：
信息熵越小，纯度越高。计算公式如下：
条件熵：
信息增益越大，意味着获得的“纯属提升”越大。因此我们使用信息增益来进行决策树的划分属性选择。
计算过程如下：
插一句题外话，由上图可见手机镜头会让原图发生凹凸变化，所以镜子里的我才是真实的哈哈哈哈哈，其实是因为镜子里的我比相机好看>0<~~~
但是信息增益存在的问题，它对数目较多的属性有所偏好。为了减少这种偏好可能带来的不利影响，
引入增益率的概念：
增益率则是对可取数目较少的属性有偏好，所以先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
2.接下来进行剪枝处理
目的：对付过拟合