为什么我会获得负面信息增益？

Question

[已解决]

我的错误是我没有意识到如果所有都是一种类型，那么熵就是 0。因此，如果全部为正，则熵为 0，如果全部为负，则熵也为零。如果等量是正数和负数，熵将为 1。

获得负面信息增益是没有意义的。

但是基于这个例子，我得到了一个负面的信息增益。

这是数据：

如果我计算湿度属性的信息增益，我会得到：

显然我在这里遗漏了一些东西。

编辑： 澄清我是如何理解的。

整个系统的熵定义为：

在这种情况下是：

每个属性的信息增益定义为：

我计算的湿度是：

系统熵 - (1/4)湿度正常熵 - (3/4)湿度高熵

根据这个 Libre Office Calc：

或者我对属性信息增益公式的理解不正确？

Answer 1

首先，我假设您的S 变量是EnjoySport。 （顺便说一句，我认为您可以更清楚地表达文本。）

所以 S 的熵是 0.8113，但这是我同意的最后一部分。

S 给定 Normal 的熵为 0，因为它是确定性的。

S 的熵给定 High 为 0.91829583405448945，但您需要将其乘以 0.75，因为这是 Normal 的概率。这样就可以得到 0.68872187554086706。

正如预期的那样，差异是非负的。

---

注意Information gain是expected difference in Entropy，期望值需要考虑条件事件的概率。