如何从包含文本文件的输入目录创建 RDD？答案

【问题标题】：How do I create an RDD from input directory containing text files?如何从包含文本文件的输入目录创建 RDD？
【发布时间】：2015-07-09 06:14:03
【问题描述】：

我正在使用 20 个新闻组数据集。基本上，我有一个文件夹和 n 个文本文件。文件夹中的文件属于文件夹命名的主题。我有 20 个这样的文件夹。如何将所有这些数据加载到 Spark 中并从中生成 RDD，以便我可以对它们应用机器学习转换和操作？（例如：像朴素贝叶斯）。我正在寻找创建 RDD 的方法。对如何应用算法没有帮助。

【问题讨论】：

标签： apache-spark machine-learning bigdata analysis apache-spark-mllib

【解决方案1】：

您可以使用 SparkConext.wholeTextFiles(...)。它读取一个目录并为该目录中的所有文件创建 RDD。

【讨论】：