【问题标题】:Custom File Format to partition data while writing自定义文件格式以在写入时对数据进行分区
【发布时间】:2019-10-14 14:41:36
【问题描述】:

您好,我想将我的 spark 数据框保存到具有自定义文件格式的文件中, 这样它在写入文件时将数据分区到不同的文件。 我还需要每个分区键的单个部分文件。

我已尝试扩展 TextBasedFileFormat 并更改编写器以满足我的需要。 数据在写入文件时被分区而没有随机播放。 但我觉得每个rdd分区都会将数据写入不同的部分文件

【问题讨论】:

  • repartition 然后partitionBy 如df.repartition("partitionKey").write.partitionBy("partitionKey").csv("filepath") 应该消除每个 rdd 写入每个分区的不同部分文件的问题。不确定是否扩展文件格式。为什么它必须是自定义文件格式?
  • @Gsquare 如果我重新分区,则会发生随机操作。我需要一个自定义文件格式,因为我想在不同的行中写入字段,因此每行中的记录类型会有所不同,它不会是 csv

标签: apache-spark


【解决方案1】:

当您编写数据帧时,底层 RDD 的每个分区将由单独的任务写入。现在这些 RDD 分区中的每一个可能对应于属于不同分区键的数据。所以每个任务最终都会创建多个零件文件。

要解决这个问题,您必须通过 partitionKey 重新分区您的数据帧。这将涉及一个 shuffle,所有对应于同一个 partitionKey 的数据都将进入同一个 RDD 分区。这可以通过 -

val newDf = df.repartition("partitionKey")

现在这个 RDD 可以被写入任何文件格式(比如 parquet、csv 等)并且它们应该是每个分区 1 个文件。如果文件大小变大,它可能会创建多个文件。这可以通过配置“spark.sql.files.maxRecordsPerFile”来控制。

val newDf = df.repartition("partitionKey")
newDf.write.partitionBy("partitionKey").parquet("<directory_path>")

【讨论】:

    猜你喜欢
    • 2018-06-11
    • 1970-01-01
    • 2021-11-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-21
    • 2018-12-07
    • 2014-12-01
    相关资源
    最近更新 更多