基于它们在python中的合并顺序的层次聚类标签

Question

可以说，我有这种类型的层次聚类，如下图所示。要获得聚类标签，我需要定义适当的阈值距离。例如，如果我将阈值设置为 0.32，我可能会得到 3 个集群，如果我设置为 3.5 左右，我会从下图中得到 2 个集群。

我想根据它们的合并顺序获取聚类标签，而不是使用阈值并使用一些固定距离。

我想根据它们的合并来定义聚类；比如第一次合并，第二次合并等等。

例如，在这里我想获得聚类标签，当它们至少第一次合并时，那将是 3 个聚类；

cluster1: p1
cluster2: p3 and p4
cluster3: p2 and p5.

如果我在这里设置，则在至少发生第二次合并时找到聚类。 在这种情况下，我将有 2 个集群，例如：

cluster1: p1
cluster2 = p3, p4, p2 and p5.

scipy 是否有内置方法来提取此类信息。如果没有，有什么方法可以从hierarchical clustering 中提取此类信息？任何建议都会很棒。

示例：

这个想法是，我不想硬编码任何阈值限制来定义集群的数量，而是根据它们的合并顺序找到集群。例如，如果存在 p1、p2 和 p3，并且在一种情况下，p1 和 p2 在 0.32 处属于同一个簇，另一种情况下，为 p1、p2 和 p3 添加更多数据，现在它们可能属于同一个簇，但距离为它们的集群的合并可能已经改变。这样，p1 和 p2 仍然在同一个集群中。所以，这里定义聚类的距离阈值是无关紧要的

Answer 1

scipy.cluster.hierarchy 函数产生的链接矩阵有一个额外的字段，用于表示新形成的集群中的观察数：

scipy.cluster.hierarchy.linkage：返回一个 (n−1) × 4 矩阵 Z。在第 i 次迭代中，索引为 Z[i, 0] 和 Z[i, 1] 的簇被组合成簇 n+i。索引小于 n 的集群对应于 n 个原始观测值之一。集群Z[i, 0] 和Z[i, 1] 之间的距离由Z[i, 2] 给出。第四个值Z[i, 3]表示新形成的聚类中原始观测值的数量。

我不确定我是否完全遵循您的示例^[1]，但是您可以使用集群大小来定义切割的深度，从而生成您的集群的平面列表，以得到一些东西线。例如，逻辑可以是“在集群大小仍为 2 或更少的最后一次合并处停止”（给出 3 个集群的第一个列表）或“当集群大小为 3 或更大时在第一次合并处停止”（给出您的第二个 2 个集群列表）。

这是一个数据集示例，它提供与图中所示相似的层次聚类，显示与您的两个示例匹配的结果：

import numpy as np
from scipy.cluster.hierarchy import single, fcluster
from scipy.spatial.distance import pdist

X = [
    (0, 0, .45), # P1
    (0, .36, 0), # P2
    (0, 0, 0), # P3
    (.3, 0, 0), # P4
    (.31, .36, 0), # P5
]

Z = single(pdist(X))

i1 = np.argwhere(Z[:,3] <= 2)[-1,0]        # => i1 = 1
d1 = Z[i1, 2]                              # => d = 0.31
c1 = fcluster(Z, d1, criterion='distance') # => c1 = [3, 2, 1, 1, 2]
# i.e., three clusters: {P3, P4}, {P2, P5} and {P1}

i2 = np.argwhere(Z[:,3] >= 3)[0,0]         # => i2 = 2
d2 = Z[i2, 2]                              # => d2 = 0.36
c2 = fcluster(Z, d2, criterion='distance') # => c2 = [2, 1, 1, 1, 1]
# i.e., two clusters: {P2, P3, P4, P5} and {P1}

---

^{[1] 当 P3 和 P4 合并时，“至少第一次合并”会不会立即出现，留下 4 个集群？并且没有理由期望“第二次合并”总是将两对合并：它也可以将单个观察与一对合并。这就是为什么我建议使用集群大小而不是“N 次合并”。}