一、 确定数据

决策树中信息增益值的计算

二、正例(好瓜)占8/17,反例(坏瓜)占9/17,则根结点的信息熵为:决策树中信息增益值的计算

三、计算当前属性集合{色泽,根蒂,敲声,纹理,脐带,触感}中每个属性的信息增益。

色泽有三个可能的取值:青绿、乌黑、浅白

D1{色泽=青绿}={1,4,6,10,13,17},正例3/6,反例3/6

D2{色泽=乌黑}={2,3,7,8,9,15},正例4/6,反例2/6

D3{色泽=浅白}={5,11,12,14,16},正例1/5,反例4/5

这三个分支结点的信息熵为:

决策树中信息增益值的计算

四、由此我们可以计算出色泽属性的信息增益是(青绿,乌黑, 浅白三个分类类别分别乘自己对应的信息熵):决策树中信息增益值的计算

 

五、同理,按照一样的方法我们可以求出其他属性的信息增益,分别如下:

决策树中信息增益值的计算

六、知道了纹理是对最后的类别影响最大的信息熵

于是我们可以选择根蒂、脐部、触感这3个特征属性中的任何一个(因为他们的信息增益值相等且最大),其他两个结点同理。这样就可以得到新一层的结点。通过递归就能构建出整个决策树了。

决策树中信息增益值的计算

相关文章:

  • 2021-05-26
  • 2021-08-15
  • 2021-10-09
  • 2021-04-11
  • 2021-07-03
  • 2021-12-17
  • 2021-10-18
  • 2021-07-08
猜你喜欢
  • 2022-12-23
  • 2021-06-04
  • 2022-12-23
  • 2021-08-25
  • 2021-10-20
  • 2021-12-30
  • 2021-12-31
相关资源
相似解决方案