【发布时间】:2019-10-14 14:41:36
【问题描述】:
您好,我想将我的 spark 数据框保存到具有自定义文件格式的文件中, 这样它在写入文件时将数据分区到不同的文件。 我还需要每个分区键的单个部分文件。
我已尝试扩展 TextBasedFileFormat 并更改编写器以满足我的需要。 数据在写入文件时被分区而没有随机播放。 但我觉得每个rdd分区都会将数据写入不同的部分文件
【问题讨论】:
-
repartition然后partitionBy如df.repartition("partitionKey").write.partitionBy("partitionKey").csv("filepath")应该消除每个 rdd 写入每个分区的不同部分文件的问题。不确定是否扩展文件格式。为什么它必须是自定义文件格式? -
@Gsquare 如果我重新分区,则会发生随机操作。我需要一个自定义文件格式,因为我想在不同的行中写入字段,因此每行中的记录类型会有所不同,它不会是 csv
标签: apache-spark