我知道计算熵的公式：
H(Y) = - ∑ (p(yj) * log2(p(yj)))
换句话说，选择一个属性并为每个值检查目标属性值... 所以 p(yj) 是节点 N 的模式在类别 yj 中的比例 - 一个代表目标值为真，一个代表假。
但我有一个数据集，其中目标属性是价格，因此是范围。如何计算这种数据集的熵？
（参考：http://decisiontrees.net/decision-trees-tutorial/tutorial-5-exercise-2/）
【问题讨论】：
标签： machine-learning decision-tree
您首先需要以某种方式离散化数据集，例如将其以数字方式分类到多个桶中。存在许多离散化方法，有些是有监督的（即考虑目标函数的值），有些则不是。 This paper 以相当笼统的术语概述了使用的各种技术。 Weka 等机器学习库中有大量离散化算法。
连续分布的熵称为differential entropy，也可以通过假设您的数据以某种方式分布（例如正态分布）来估计，然后以正态方式估计底层分布，并使用它来计算熵值。
【讨论】：
同意 Vic Smith 的观点，离散化通常是一个不错的方法。以我的经验，大多数看似连续的数据实际上是“块状”的，并且几乎没有丢失。
但是，如果由于其他原因不希望离散化，则还为连续分布定义熵（请参阅有关您最喜欢的分布的维基百科，例如 http://en.wikipedia.org/wiki/Normal_distribution]）。
一种方法是假设一种分布形式，例如正态、对数正态等，并根据估计的参数计算熵。我认为玻尔兹曼熵（连续）和香农熵（离散）的尺度不在同一个尺度上，所以不会混合它们。
【讨论】：