pyspark - 一个 RDD 和一个输出文件中的多个输入文件

Question

我在 Python 中有一个字数统计，我想在 Spark 上运行多个文本文件并获得一个输出文件，因此所有文件中的字数都被计算在内。我尝试了一些解决方案，例如找到 here 和 here 的解决方案，但它仍然提供与输入文件数量相同数量的输出文件。

rdd = sc.textFile("file:///path/*.txt")
input = sc.textFile(join(rdd))

或

rdd = sc.textFile("file:///path/f0.txt,file:///path/f1.txt,...")
rdds = Seq(rdd)
input = sc.textFile(','.join(rdds))

或

rdd = sc.textFile("file:///path/*.txt")
input = sc.union(rdd)

不工作。任何人都可以提出一个解决方案，如何将几个输入文本文件制作成一个 RDD？

提前谢谢...

Answer 1

这应该会加载所有匹配模式的文件。

rdd = sc.textFile("file:///path/*.txt")

现在，您不需要进行任何联合。你只有一个 RDD。

回答您的问题 - why are you getting many output files。输出文件的数量取决于RDD 中partitions 的数量。当您运行字数统计逻辑时，您生成的 RDD 可以有超过 1 个分区。如果要将 RDD 保存为单个文件，请使用 coalesce 或 repartition 只有一个分区。

以下代码有效，取自Examples。

rdd = sc.textFile("file:///path/*.txt")
counts = rdd.flatMap(lambda line: line.split(" ")) \
...              .map(lambda word: (word, 1)) \
...              .reduceByKey(lambda a, b: a + b)

counts.coalesce(1).saveAsTextFile("res.csv")