【问题标题】:Can we partition a CSV file while reading it from HDFS?我们可以在从 HDFS 读取 CSV 文件时对其进行分区吗?
【发布时间】:2020-07-23 04:33:10
【问题描述】:

我正在尝试将一个巨大的 csv 文件读入 spark 并将其加载到雪花表中。 要读取 csv 文件,我们在 pyspark 中有以下语法:

file_df = spark.read.format('csv').option('header', 'true').option('inferSchema', 'true').load('/tmp/dirpath/data/')

我的 csv 文件的架构:

schema = StructType([
        StructField("CUSTKEY", IntegerType(), True),
        StructField("NAME", StringType(), True),
        StructField("ADDRESS", StringType(), True),
        StructField("NATIONID", IntegerType(), True),
        StructField("PHONE", StringType(), True),
        StructField("ACCTBAL", DoubleType(), True),
        StructField("COMMENT", StringType(), True),
    ])

要从 RDBMS 表中读取数据,我们有以下语法:

yearDF = spark.read.format("jdbc").option("url", connectionUrl)
                       .option("dbtable", s"(${execQuery}) as year2016")
                       .option("user", devUserName)
                       .option("password", devPassword)
                       .option("partitionColumn","epochVals")
                       .option("lowerBound", minEp)
                       .option("upperBound", maxEp)
                       .option("numPartitions",15)
                       .load()

要在从表中读取数据时对数据进行分区,我们有选项partitionColumn,我们可以在其中指定分区列(这是一个旧场景,我的数据属于 hive 表的单个分区)其中列 @ 987654325@ 具有几乎唯一的值,参数numPartitions 有助于将数据划分为确切数量的分区(15 是用于解释场景的随机数)所以在读取数据时,spark 有 15 个分区来排列数据。

现在我的 csv 文件大小为 35GB。我们总是可以根据代码中的要求repartition 一个数据帧,但是在读取 csv 文件时,spark 中有一个选项来分区数据吗?如果我已经知道 CSV 文件的架构和包含唯一值的列 custkey,我可以在 spark.read.format('csv') 语句中使用 partitionColumn 和 numpartitions 参数吗?如果不是,我如何在加载 csv 文件后确定repartition 数据的最佳分区数? 谁能告诉我是否可以按照我上面的要求做?

【问题讨论】:

  • 文件压缩了吗?如果没有压缩或压缩格式为 BZip2,则 CSV 文件可以(自动)拆分
  • 文件已经在 HDFS 上。我看到这些文件有.deflate 扩展名。所以我认为它们是压缩的。如果是可拆分的,如何应用拆分机制?
  • AFAIK deflate 与不可拆分的gz 相似,但我自己从未尝试过。如果它是可拆分的,spark 会根据执行者的数量自动拆分它

标签: csv apache-spark


【解决方案1】:

回答问题的标题:不,如果使用spark.read,则没有。您需要在数据帧之后repartition。

【讨论】:

    猜你喜欢
    • 2012-11-13
    • 2014-06-17
    • 2013-06-13
    • 2020-04-18
    • 2022-06-10
    • 1970-01-01
    • 1970-01-01
    • 2015-10-11
    相关资源
    最近更新 更多