【问题标题】:Calculate total distance between multiple pairwise distributions/histograms计算多个成对分布/直方图之间的总距离
【发布时间】:2019-04-22 00:12:24
【问题描述】:

我不确定我应该用什么术语来解决我的问题,所以我举个例子。

我有 2 组测量值(每组 6 个经验分布 = D1-6),它们描述了同一系统的 2 种不同状态(蓝色和红色)。这些分布可能是多峰的、偏斜的、欠采样的,并且以其他一些不可预知的方式奇怪。

BLUE 是我的参考,对于所有成对分布,我想让 RED 的分布尽可能接近 BLUE。 为此,我将使用我的 RED 系统的参数并监控 RED 集D1-6 的测量值试图使其与 BLUE 完美重叠。

我知道我可以使用 Jensen-Shannon 或 Bhattacharyya 距离来评估 2 个分布(例如 RED-D1 和 BLUE-D1)之间的距离。但是,我不知道是否有其他指标可以在这里应用来获得所有分布之间的全局距离(即量化 2 组成对分布之间的全局不匹配)。是这样吗?

我正在考虑构建一个使用所有成对 Jensen-Shannon 距离的经验评分函数,但我还没有更好的想法。我相信我不能只是总结所有 JS 距离,因为在这两种假设的不同情况下我会得到相似的分数:

  1. D1-6 分布在我的图片中

  2. RED-D1-5 更适合 BLUE-D1-5,但是 RED-D6 与 BLUE-D6 相比发生了偏移

那是错误的,因为我会错过我系统的一项重要功能。鉴于这两种情况,最好像我的图像中那样分布 D1-6(解决方案 1)。

每个分布之间的成对匹配同样重要,并且应该具有相同的权重(即 BLUE-D1 和 RED-D1 之间的匹配与 BLUE-D2 和 RED-D2 之间的匹配一样重要,等等)。

D1-3 的给定范围 DOM1 为 [0, 5],而 D4-6 的另一个范围 DOM2 为 [50, 800]。菱形代表蓝色和红色分布的加权平均值。

非常感谢您的帮助!

【问题讨论】:

  • 有很多方法可以量化两组成对分布之间的全局不匹配。 F.e.,著名的 Kolmogorov-Smirnov (K-S) 检验基于两个分布之间的一些定量差异。它以合理的方式定义,我相信你的情况可以毫无问题地计算出来。但是有两个警告: 1. 它不是距离,不是度量。 2. 通常,如果你想调整参数以更好地拟合已知分布,你会得到导数并运行 GD 或类似的东西。很难获得 K-S 差异的导数。你必须为你想要的东西设定条件。

标签: histogram distance distribution loss-function multivariate-testing


【解决方案1】:

我最终使用所有成对地球移动器距离的总和(EMD,https://en.wikipedia.org/wiki/Earth_mover%27s_distance,也称为 Wasserstein 度量)作为所有成对分布之间距离的全局度量。这以适当的方式描述了我的系统的两种状态之间的差异或相似之处。

EMD 在 python 中的 'pyemd' 包中或使用 scipy 实现:https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.wasserstein_distance.html

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-09-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多