如何比较二维分布？

Question

我需要将 2D 分布与 KL Divergence 进行比较。我尝试使用scipy.stats.entropy，但返回的是inf。

如何设置 scipy.stats.entropy 以使用 2 个轴并返回一个值？

我试过了：

from scipy.stats import entropy
import pandas as pd

one = pd.read_csv(file_one)
two = pd.read_csv(file_two)
pk = [list(item) for item in zip(one["X"], one["Y"])]
qk = [list(item) for item in zip(two["X"], two["Y"])]
for l in [pk, qk]:
    for i in range(len(l)):
        for j in range(len(l[i])):
            # to confirm that no values are 0 
            #(will change to a smaller value once inf is not being returned)
            if abs(l[i][j]) < 0.1:
                l[i][j] = 0.1
print(entropy(pk, qk))

打印：[inf inf]

我真正想要的是一个单一的值，但要开始我需要它停止返回ing

Answer 1

查看 KL Divergence 的方程：

S = sum(pk * log(pk / qk), axis=0)

如果你在 qk 中有零值，这将导致你的无穷大。由于 KL 是分布中事件的概率密度（甚至是离散的）概率永远不会为零，因此您应该用非常小的值替换您的零。至于您的形状问题，您可以展平输入或获取直方图。

编辑： 你也不能有负值，什么是负概率？ KL 散度比较概率分布它没有另外定义。