我想在 HDFS 中将一个文件拆分为多个

Question

我正在尝试使用 spark-submit 将文件写入 hdfs。 写入文件时，我想将一个文件拆分为多个，例如 mapreduce 的结果而不是一个。（例如 part-0000，park-0001）

这里是示例代码 我应该设置哪些选项

val conf = new Configuration()
val fs= FileSystem.get(conf)
val output = fs.create(new Path("/user/foo/test.txt"))
val writer = new PrintWriter(output)
writer.write("Hellow World1\n")
writer.write("Hellow World2\n")
...
writer.write("Hellow World3\n")

Answer 1

您可以使用repartition 和coalesce 控制spark 中输出文件的数量。 在 mapreduce 中，您可以通过 reducer 的数量来控制输出文件，在 spark 中您可以指定分区和合并

dataRDD.repartition(2).saveAsTextFile("/user/cloudera/sqoop_import/orders_test")

如上所示命令将数据保存在两个文件中，因为我们已将分区规格指定为 2

你可以看看这个answer它会帮助你理解