用信息增益来构建决策树感觉计算量好大啊,下面介绍新的一种构建决策树的方法
首先我要引入两个新的概念:基尼系数和基尼指数
基尼系数的作用和信息熵的作用相同,都是用来度量数据集的纯度的,公式如下:
机器学习——基于基尼指数构建决策树
Pk指的是在数据集中,取得正例的比例,pk'=1-pk
Gini(D)的值越小说明,数据的纯度越高,例如,给出一些西瓜的数据集,这些数据的西瓜都是好瓜,则说明,pk=1,从而得到Gini(D)=0.
那么怎么找出最优划分属性呢?
在信息增益中,我们把信息增益的值最大的作为最优属性,这是因为根据信息增益公式我们可以知道,信息增益的值越大,则说明该属性越重要。
基尼指数的公式:
机器学习——基于基尼指数构建决策树
在这个公式中,v指的是某一属性的取值数量。
机器学习——基于基尼指数构建决策树

以上表为例
机器学习——基于基尼指数构建决策树

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-08-11
  • 2021-12-11
  • 2021-12-26
  • 2021-11-05
  • 2021-05-14
  • 2022-01-21
猜你喜欢
  • 2022-01-04
  • 2021-09-02
  • 2021-04-05
  • 2022-12-23
  • 2022-12-23
  • 2021-04-01
  • 2021-12-10
相关资源
相似解决方案