计算具有不同长度数据点的压缩距离矩阵

Question

Scipy 的 pdist 函数需要一个形状均匀的 numpy 数组作为输入。

工作示例：

from scipy.spatial.distance import pdist
from scipy.spatial.distance import squareform

#Example distance function.
def dfun(u, v):
    return u.sum() + v.sum()

dat0 = np.array([-1, 1,-3, 1])
dat1 = np.array([-1, 1,-3, 1])
dat2 = np.array([ 1, 1, 1, 1])

data = np.array([dat0, dat1, dat2])
distance_matrix = pdist(data, dfun)
squareform(distance_matrix)

我有一个自定义距离函数，它适用于游程编码数据，因此数组的大小可能会有所不同。使用以下输入时

dat0 = np.array([-1, 1,-4, 1])
dat1 = np.array([-1, 1,-3, 1, 1])
dat2 = np.array([ 1,-6])

即使距离函数可以很好地处理输入，也会引发值错误ValueError: A 2-dimensional array must be passed.。是否存在计算这些值的替代方法？

编辑：上述 sn-p 中的距离函数只是一个度量标准的示例，它不关心数据点内的实际元素数量。在我的例子中，https://github.com/mclmza/AWarp 用于计算稀疏数据集示例系列的 dtw：[1,-456,1,1,-23,1]，因此填充数据不是一个有效的选项。

Answer 1

如果我理解正确，您想使用awarp 计算距离，但该距离函数需要不同长度的信号。所以你需要避免创建一个数组，因为 NumPy 不允许“参差不齐”的数组。那么我认为你可以这样做：

from itertools import combinations
from scipy.spatial.distance import squareform

# Example distance function.
def dfun(u, v):
    return u.sum() + v.sum()

dat0 = np.array([-1, 1,-4, 1])
dat1 = np.array([-1, 1,-3, 1, 1])
dat2 = np.array([ 1,-6])
data = [dat0, dat1, dat2]

dists = [dfun(a, b) for a, b in combinations(data, r=2)]
squareform(dists)

对于您的示例，这会产生：

array([[ 0, -4, -8],
       [-4,  0, -6],
       [-8, -6,  0]])

如果dfun = awarp 那么你会得到这些信号的输出：

array([[ 0.        ,  0.        ,  2.23606798],
       [ 0.        ,  0.        ,  2.44948974],
       [ 2.23606798,  2.44948974,  0.        ]])

我想这种方法只有在 dfun 是可交换的情况下才有效，我认为 awarp 是。