如何过滤掉具有相同聚类标签的条目

Question

我想计算我拥有的数据集的两个聚类之间的兰德指数，但我在数据集中有 80,000 个条目，并且到目前为止我发现计算兰德指数的 R 包实际上无法处理这么大的数据集。 （例如，来自 mclust 的错误是Error in table(x, y) : attempt to make a table with >= 2^31 elements）

为了减小数据集的大小，我想要做的是过滤掉我的数据集中具有相同聚类标签的整体。例如，如果我有一张桌子

   clusteringA | clusteringB
1       a      |      a
2       b      |      b  
3       c      |      b
4       d      |      c
5       d      |      c
6       e      |      d
7       e      |      e

然后我想做的是过滤掉第 1、4 和 5 行，因为它们将为所有成对比较返回 1。有没有一种计算有效的方法来做到这一点？这样做真的可以让我计算兰德指数吗？

如果不是，我想到的另一种可能性是将我的数据集分成块并在这些块上分别计算兰德指数。这看起来合理吗？我猜这两个聚类之间有相当数量的相等标签分配；前 500 行的 Rand Index 为 1。

Answer 1

在聚类中，您不能假设聚类 1 中的标签 a 与聚类中的标签 a 相同。在其他聚类中，这可能是标签 42。

因此，兰德索引不直接比较标签，而是比较点对的标签。所以 4 和 5 在聚类 1 中具有相同的标签，它们是一对。它们也是聚类 2 中的一对，因此两个聚类一致认为这些点应该在同一个聚类中。