在 sklearn 中使用自定义距离度量进行聚类

Question

我正在尝试为聚类实现自定义距离度量。代码 sn-p 如下所示：

import numpy as np
from sklearn.cluster import KMeans, DBSCAN, MeanShift

def distance(x, y):
    # print(x, y) -> This x and y aren't one-hot vectors and is the source of this question
    match_count = 0.
    for xi, yi in zip(x, y):
        if float(xi) == 1. and xi == yi:
            match_count += 1
    return match_count

def custom_metric(x, y):
    # x, y are two vectors
    # distance(.,.) calculates count of elements when both xi and yi are True
    return distance(x, y)


vectorized_text = np.stack([[1, 0, 0, 1] * 100,
                            [1, 1, 1, 0] * 100,
                            [0, 1, 1, 0] * 100,
                            [0, 0, 0, 1] * 100] * 100)

dbscan = DBSCAN(min_samples=2, metric=custom_metric, eps=3, p=1).fit(vectorized_text)

vectorized_text 是大小为n_sample x n_features 的单热编码特征矩阵。但是当custom_metric 被调用时，x 或y 中的一个变成了实值向量，而另一个仍然是 one-hot 向量。可以预料，x 和 y 都应该是 one-hot 向量。这导致 custom_metric 在运行时返回错误的结果，因此聚类不正确。

distance(x, y) 方法中的x 和y 示例：

x = [0.5 0.5 0.5 ... 0.5 0.5]
y = [0. 0. 0. 1. 0. 0. ... 1. 0.]

两者都应该是 one-hot 向量。

有没有人想办法解决这种情况？

Answer 1

首先，你的距离是错误的。

距离必须返回相似向量的 small 值。您定义了相似度，而不是距离。

其次，使用诸如zip 之类的幼稚python 代码将执行极差。 Python 只是没有很好地优化这样的代码，它会在 slow 解释器中完成所有工作。只有对所有内容进行矢量化，Python 速度才可以。事实上，这段代码可以简单地被矢量化，然后你的输入是二进制数据还是浮点数据都可能无关紧要。您以非常复杂的方式计算的只是两个向量的点积，不是吗？

这个，你的距离大概应该是这样的：

def distance(x, y):
  return x.shape[0] - np.dot(x,y)

或您打算使用的任何距离转换。

现在解决您的实际问题：我的猜测是 sklearn 会尝试使用球树来加速您的距离。由于 Python 解释器回调的性能不佳，这无济于事（实际上，您可能应该在 one 向量化操作中预先计算整个距离矩阵 - 类似于dist = dim - X.transpose().dot(X)？自己做数学找出方程）。其他语言，如 Java（例如，ELKI 工具）以这种方式进行扩展要好得多，因为热点 JIT 编译器可以在任何地方优化和内联此类调用。

要检验 sklearn 球树是您观察到的奇数值的原因的假设，请尝试设置 method="brute" 左右（请参阅文档）以禁用球树。但最后，您需要预先计算整个距离矩阵（如果您能负担得起 O(n²) 成本），或者切换到不同的编程语言（例如在 Cython 中实现距离会有所帮助，但您仍然会可能会突然看到数据是 numpy 浮点数组）。

Answer 2

我复制了您的代码，但确实收到了您的错误。我在这里解释得更好：

他有一个 vectorized_text 变量 (np.stack)，它模拟 One Hot Encoded 特征集（仅包含 0 和 1）。而在 DBSCAN 模型中，他使用 custom_metric 函数来计算距离。预计当模型运行时，自定义度量函数将观察值对作为参数，因为它们是：一个热编码值，但在 distance 函数中打印这些值时，只有一个是照原样考虑，另一个似乎是他在问题中描述的真实值列表：

x = [0.5 0.5 0.5 ... 0.5 0.5] y = [0. 0. 0. 1. 0. 0. ... 1. 0.]

无论如何，当我将列表传递给 fit 参数时，函数会按原样获取值：

from sklearn.cluster import KMeans, DBSCAN, MeanShift

x = [1, 0, 1]
y = [0, 0, 1]
feature_set = [x*5]*5
def distance(x, y):
    # Printing here the values. Should be 0s and 1s
    print(x, y)
    match_count = 0.
    for xi, yi in zip(x, y):
        if float(xi) == 1. and xi == yi:
            match_count += 1
    return match_count

def custom_metric(x, y):
    # x, y are two vectors
    # distance(.,.) calculates count of elements when both xi and yi are True
    return distance(x, y)

dbscan = DBSCAN(min_samples=2, metric=custom_metric, eps=3, p=1).fit(feature_set)`

结果：

[1. 0. 1. 1. 0. 1. 1. 0. 1. 1. 0. 1. 1. 0. 1.] ... [1. 0. 1. 1. 0.1. 1. 0. 1. 1. 0. 1. 1. 0. 1.]
[1. 0. 1. 1. 0. 1. 1. 0. 1. 1. 0. 1. 1. 0. 1.] ... [1. 0. 1. 1. 0.1. 1. 0. 1. 1. 0. 1. 1. 0. 1.]

我建议你使用 pandas DataFrame 或其他类型的值，看看它是否有效。

Answer 3

我不明白你的问题，如果我有：

x = [1, 0, 1]
y = [0, 0, 1]

我使用：

def distance(x, y):
    # print(x, y) -> This x and y aren't one-hot vectors and is the source of this question
    match_count = 0.
    for xi, yi in zip(x, y):
        if float(xi) == 1. and xi == yi:
            match_count += 1
    return match_count

print(distance(x, y))
 1.0

如果你现在打印 x, y：

x
[1, 0, 1]
y
[0, 0, 1]

所以它工作了吗？