【发布时间】：2020-08-04 19:42:26
【问题描述】：
信息论中的香农熵测量离散随机变量的经验分布中的不确定性或无序性，而微分熵测量连续 r.v. 的不确定性或无序性。然而，微分熵的经典定义被发现是错误的，并用离散点的极限密度 (LDDP) 进行了纠正。 scipy 或其他计算 LDDP 吗？如何在 python 中估计 LDDP？
【问题讨论】：
标签： python entropy information-theory
【发布时间】：2020-08-04 19:42:26
【问题描述】：
由于 LDDP 等效于从密度函数 m(x) 到概率分布 p(x) 的负 KL 散度，因此您可以使用 KL 散度的众多实现之一，例如来自 @ 987654321@.
一个适当的过程（假设您有有限的支持）是通过对其支持进行采样并计算 KL 散度来用离散分布近似连续分布。
如果这是不可能的，那么我能想到的唯一选择可能是使用数值（或者可能是分析？）积分方法，你应该有很多。一个简单的第一步是尝试蒙特卡罗方法。
【讨论】：
-
因为这个问题是针对 Python 的，所以一个代码示例会很有用。