如何以最少的内存使用对大量数据进行聚类

Question

我正在使用scipy.cluster.hierarchy.fclusterdata 函数对向量列表（具有 384 个分量的向量）进行聚类。

它工作得很好，但是当我尝试对大量数据进行聚类时，我的内存不足并且程序崩溃了。

如何在不耗尽内存的情况下执行相同的任务？

我的机器有 32GB 内存，Windows 10 x64，python 3.6（64 位）

Answer 1

你可以看看

• DBSCAN（或其他基于密度的算法）以及相关的讨论：scikit-learn DBSCAN memory usage
• SLINK，层次聚类的一种变体（在sklearn.cluster.AgglomerativeClustering 中设置linkage='single'）
• MiniBatch K Means
• 或BIRCH。

但是，您必须设置一些管道来测试不同数量的集群。不过，很难说哪种算法最适合您。

Answer 2

您需要选择不同的算法。

分层聚类需要 O(n²) 内存和教科书算法 O(n³) 时间。这无法很好地扩展到大数据。