聚类大数据

Question

我有一个这样的列表：

A B 分数
B C 分数
A C 分数 ......
其中前两列包含变量名称，第三列包含两者之间的分数。变量总数为 250,000 (A,B,C....)。分数是浮点数[0,1]。该文件大约为 50 GB。并且得分为 1 的 A、B 对已被删除，因为超过一半的条目为 1。

我想对数据进行层次聚类。

我应该将线性形式转换为具有 250,000 行和 250,000 列的矩阵吗？还是应该对数据进行分区并进行聚类？

我对此一无所知。请帮忙！

谢谢。

Answer 1

您的输入数据已经是矩阵。 然而，层次聚类通常缩放 O(n^3)。这不适用于您的数据集大小。另外，他们通常需要不止一份矩阵。那么你可能需要 1TB 的 RAM……2*8*250000*250000 很多。 一些特殊情况可以在 O(n^2) 中运行：SLINK 可以。如果您的数据被很好地排序，那么应该可以在您的文件上一次通过运行单链接。但是您必须自己实现。甚至不要考虑使用 R 或其他花哨的东西。