如何使用 Apache Spark kmeans 对 SIFT 描述符进行聚类（通过 pickle 与否）

Question

使用 OpenCV 3.1，我计算了一批图像的 SIFT 描述符。 每个描述符都有一个形状(x, 128)，我使用基于pickle 的.tofile 函数将每个描述符写入磁盘。在图像样本中，x 在 2000 到 3000 之间

我希望通过 pyspark 使用 Apache Spark 的 kmeans 集群，但我的问题是 2 个部分。

1. 是酸洗传输描述符数据的最佳方式
2. 如何从一堆 pickle 文件中获取集群就绪数据集以及我应该注意哪些陷阱（Spark、pickling、SIFT）

我的兴趣是假设描述符生成代码和集群环境之间存在一些公共存储，那么 python 2 代码的序列会是什么样子

Answer 1

酸洗是传输描述符数据的最佳方式吗？

best 在这里非常具体。你可以试试 pickle 或 protobuf。

如何从一堆 pickle 文件中获取集群就绪数据集？

1. 反序列化您的数据。
2. 创建一个 RDD，它将向量（即 RDD 将是一个特征，一个 128 维向量））。
3. 缓存 RDD，因为 kMeans 会一次又一次地使用它。
4. 训练 kMeans 模型，以获得您的集群。

例如，LOPQ 的家伙，做：

C0 = KMeans.train(first, V, initializationMode='random', maxIterations=10, seed=seed)

first 是我提到的 RDD，V 是集群的数量，C0 是计算的集群（在 GitHub 的第 67 行查看）。

5. 取消持久化您的 RDD。