维基百科确实有ID3 algorithm 的定义，但它非常复杂。是否有任何链接以易于理解的方式解释该概念。
维基百科有很多复杂的理论和公式。我确实明白什么是熵。但我不明白什么是增益。您的基本解释或指向一些好的链接的指针肯定会对我有所帮助。
【问题讨论】：
http://web.arch.usyd.edu.au/~wpeng/DecisionTree2.pdf
标签： c# algorithm artificial-intelligence machine-learning
我认为 Wiki 页面基本上明确了这个概念，尽管一些示例会有所帮助。您可以查看有关此主题的 the U Florida page 和 the ICL 页面。当涉及到此类主题（机器学习和数据挖掘）时，您应该始终考虑 reading materials by Andrew Moore @ CMU，我认为这很有帮助。
另外，这是我的两分钱：
熵表示消息中包含的信息（不确定性）的期望值。由于我们在这里考虑决策树，因此增益是我们在属性上拆分时的熵差（即原始熵与不同分支的熵权重平均值之间的差）。由于这是减少的不确定性，这只是我们通过对该属性进行拆分获得的信息。
此外，我们在学习数据挖掘课程时使用了《数据挖掘：基于教程的方法》作为文本，这是一本很好且简单的书。
【讨论】：