在 Spark 和 Hadoop 之间共享数据（Mahout）

Question

我有一个使用 Spark 进行数据处理并将其保存为 RDD 的应用程序；我正在使用“本地”属性初始化 SparkContext。我想在这个数据集上使用 Mahout，但是在 2 个应用程序之间共享这些数据的最佳方式是什么？

我是大数据生态系统的新手，所以答案对我来说并不是很明显。

附言我还在本指南 http://amodernstory.com/2014/09/23/installing-hadoop-on-mac-osx-yosemite/ 的帮助下在本地安装了 Hadoop，并且能够运行它。

Answer 1

由于您的数据位于 RDD 中，因此只能从创建它的上下文中访问它，除非您将其保存到文件或其他一些持久性机制中。

Mahout 是一个类似于 MLlib 的库，因此只要您使 Spark 上下文可用于代码，它应该可以正常工作。

Mahout 具有支持一般线性代数的更高级别的数据类型，因此您可能需要将原始 rdd 转换为类似 Mahout 的 RDD 支持的 DrmLike[Int]，这是主要的“DistributedRowMatrix”类型。这将取决于你的 RDD 包含什么以及你想用它做什么，所以你必须解释更多。

通常只需要几行代码即可获取 DRM 并将其转换为向量的 MLlib RDD 以供 KMeans 处理。反方向也很简单。