使用正常数据直方图与直接公式的熵估计（matlab）

Question

假设我们已经抽取了标准正态分布的n=10000 个样本。

现在我想用直方图计算它的熵来计算概率。

1) 计算概率（例如使用matlab）

[p,x] = hist(samples,binnumbers);
area = (x(2)-x(1))*sum(p);
p = p/area;

（binnumbers 是由某些规则决定的）

2) 估计熵

H = -sum(p.*log2(p))

给出 58.6488

现在当我使用直接公式计算正常数据的熵时

H = 0.5*log2(2*pi*exp(1)) = 2.0471

使用直方图+熵公式时我做错了什么？ 非常感谢您的帮助！

Answer 1

总和中缺少dp 术语

dp = (x(2)-x(1));
area = sum(p)*dp;
H = -sum( (p*dp) * log2(p) );

这应该让你足够接近......

PS，
当你拿log2(p) 时要小心，因为有时你可能有空垃圾箱。您可能会发现 nansum 很有用。