【问题标题】:Find the number of clusters in a list of integers查找整数列表中的簇数
【发布时间】:2020-09-24 22:58:20
【问题描述】:

让我们考虑距离d(a, b) = number of digits which are pairwise different in a and b,例如:

d(1003000000, 1000090000) = 2   #   the 4th and 6th digits don't match

(我们只使用 10 位数字)和这个列表:

L = [2678888873,
     2678878873,  # distance 1 from L[0]
     1000000000,  
     1000040000,  # distance 1 from L[2]
     1000300000,  # distance 1 from L[2], distance 2 from L[3]
     1000300009,  # distance 1 from L[4], distance 2 from L[2]
    ]

我想找到点 P 的最小数量,使得列表中的每个整数与 P 中的点的距离

我认为这个数字是 3:列表中的每个数字的距离

我想通过首先计算距离矩阵(即M[i, j] = d(L[i], L[j]))可以实现 O(n^2) 算法。

有没有更好的方法,尤其是使用 Numpy?(也许 Numpy/Scipy 中有内置算法?)


PS:如果我们将这些 10 位整数视为字符串,我们将接近在具有 Levenshtein 距离的许多单词的列表中找到最小数量的簇。

PS2:我知道这个距离在字符串上有一个名字:Hamming distance

【问题讨论】:

  • 即使给出了距离矩阵,对我来说也不是微不足道的,有一个O(n^2) 算法可以挑选出最少的点数。
  • @QuangHoang 我会对矩阵行的最小值或类似的东西进行排序
  • @QuangHoang 是的,也许是我太乐观了,我认为一旦你有了距离矩阵就很容易了,但也许不是,我会考虑的。
  • @Basj。有用的事情:距离为 2 的任何一对数字都有 2 个不同的 P 值,它们是为它们构建的。任何更远的地方都会自动成为一个不同的集群。您需要遍历距离矩阵并找到所有接近 L 的最大元素数的此类 P。我认为此时贪婪算法会很好地工作。
  • 集合的最大大小、集合中的最大数字、最小元素和最大元素之间的差异等数字集的约束是什么?

标签: python numpy cluster-analysis nearest-neighbor levenshtein-distance


【解决方案1】:

让我们看看我们从距离度量中知道了什么。给定一个数字P(不一定在L中),如果L的两个成员在P的距离1内,则他们每个与P共享9位数字,但不一定相同,所以他们只保证彼此共享 8 位数字。因此,任何两个距离为 2 的数字都保证有两个唯一的 Ps,它们之间的距离为 1(彼此之间的距离也为 2)。您可以使用此信息来减少优化P 选择所需的蛮力工作量。

假设您有一个距离矩阵。您可以立即丢弃条目少于 3 的行(或列):它们自动成为自己的集群。对于等于 2 的剩余条目,构造一个可能的 P 值列表。找出L 的每个元素在P (另一个距离矩阵)的每个元素的1 以内的元素数。按邻居数对P 进行排序,然后选择。您需要在每次迭代时更新矩阵,因为您删除具有最大邻居的成员以避免由于重叠而导致的低效分组(L 的成员靠近 P 的多个成员)。

您可以在 numpy 中计算L 的距离矩阵,方法是首先将其转换为二维数字数组:

L = np.array([2678888873, 2678878873, 1000000000, 1000040000, 1000300000, 1000300009])

z = 10     # Number of digits
n = len(L) # Number of numbers

dec = 10**np.arange(z).reshape(-1, 1).astype(np.int64)
digits = (L // dec) % 10

digits 现在是一个 10xN 数组:

array([[3, 3, 0, 0, 0, 9],
       [7, 7, 0, 0, 0, 0],
       [8, 8, 0, 0, 0, 0],
       [8, 8, 0, 0, 0, 0],
       [8, 7, 0, 4, 0, 0],
       [8, 8, 0, 0, 3, 3],
       [8, 8, 0, 0, 0, 0],
       [7, 7, 0, 0, 0, 0],
       [6, 6, 0, 0, 0, 0],
       [2, 2, 1, 1, 1, 1]], dtype=int64)

您可以使用!=sum 沿右轴计算digits 与其自身或digits 与任何其他10xM 数组之间的距离:

distance = (digits[:, None, :] != digits[..., None]).sum(axis=0)

结果:

array([[ 0,  1, 10, 10, 10, 10],
       [ 1,  0, 10, 10, 10, 10],
       [10, 10,  0,  1,  1,  2],
       [10, 10,  1,  0,  2,  3],
       [10, 10,  1,  2,  0,  1],
       [10, 10,  2,  3,  1,  0]])

我们只关心那个矩阵的上(或下)三角形,所以我们可以立即屏蔽掉另一个三角形:

distance[np.tril_indices(n)] = z + 1

查找P的所有候选值:L的所有元素,以及距离为2的元素之间的所有对:

# Find indices of pairs that differ by 2
indices = np.nonzero(distance == 2)
# Extract those numbers as 10xKx2 array
d = digits[:, np.stack(indices, axis=1)]
# Compute where the difference is nonzero (Kx2)
locs = np.diff(d, axis=2).astype(bool).squeeze()
# Find the index of the first digit to replace (K)
s = np.argmax(locs, axis=0)

P 的额外值由d 的每一半构成,k 表示的数字由另一半替换:

P0 = digits[:, indices[0]]
P1 = digits[:, indices[1]]
k = np.arange(s.size)
tmp = P0[s, k]
P0[s, k] = P1[s, k]
P1[s, k] = tmp

Pextra = np.unique(np.concatenate((P0, P1), axis=1)

所以现在您可以计算P 的全部可能性:

P = np.concatenate((digits, Pextra), axis=1)
distance2 = (P[:, None, :] != digits[..., None]).sum(axis=0)

您可以根据距离丢弃Pextra 中与digits 元素匹配的任何元素:

mask = np.concatenate((np.ones(n, bool), distance2[:, n:].all(axis=0)))
P = P[:, mask]
distance2 = distance2[:, mask]

现在您可以迭代地距离PL,并选择P 的最佳值,从距离矩阵中删除任何已选择的值。来自P 的贪心选择不一定是最优的,因为由于重叠,替代组合可能需要更少的元素,但这对于简单(但有些昂贵)的图遍历算法来说是一个问题。下面的 sn-p 只是显示了一个简单的贪心选择,它适用于您的玩具示例:

distMask = distance2 <= 1
quality = distMask.sum(axis=0)

clusters = []
accounted = 0
while accounted < n:
    # Get the cluster location
    best = np.argmax(quality)
    # Get the cluster number
    clusters.append(P[:, best].dot(dec).item())
    # Remove numbers in cluser from consideration
    accounted += quality[best]
    quality -= distMask[distMask[:, best], :].sum(axis=0)

最后几个步骤可以使用集合和图表进行优化,但这显示了有效方法的起点。这对于大数据来说会很慢,但可能不会令人望而却步。做一些基准测试来决定你想花多少时间优化而不是仅仅运行算法。

【讨论】:

  • 它如何使事情更接近于计算最小的P
  • 非常感谢@MadPhysicist 的详细帖子,我将深入研究! PS:结果整个算法好像是O(n^2)是吧?
  • @Basj。大约。最终的搜索可以优化到 O(M * N),其中 M 是 L 的大小,N 是 P 的大小,但 P 有界到 ~2L,所以技术上仍然是 O(M * M)
猜你喜欢
  • 1970-01-01
  • 2011-04-24
  • 2019-02-04
  • 2021-05-17
  • 2023-01-12
  • 2017-05-17
  • 2020-05-02
  • 1970-01-01
相关资源
最近更新 更多