【发布时间】:2020-07-23 04:33:10
【问题描述】:
我正在尝试将一个巨大的 csv 文件读入 spark 并将其加载到雪花表中。 要读取 csv 文件,我们在 pyspark 中有以下语法:
file_df = spark.read.format('csv').option('header', 'true').option('inferSchema', 'true').load('/tmp/dirpath/data/')
我的 csv 文件的架构:
schema = StructType([
StructField("CUSTKEY", IntegerType(), True),
StructField("NAME", StringType(), True),
StructField("ADDRESS", StringType(), True),
StructField("NATIONID", IntegerType(), True),
StructField("PHONE", StringType(), True),
StructField("ACCTBAL", DoubleType(), True),
StructField("COMMENT", StringType(), True),
])
要从 RDBMS 表中读取数据,我们有以下语法:
yearDF = spark.read.format("jdbc").option("url", connectionUrl)
.option("dbtable", s"(${execQuery}) as year2016")
.option("user", devUserName)
.option("password", devPassword)
.option("partitionColumn","epochVals")
.option("lowerBound", minEp)
.option("upperBound", maxEp)
.option("numPartitions",15)
.load()
要在从表中读取数据时对数据进行分区,我们有选项partitionColumn,我们可以在其中指定分区列(这是一个旧场景,我的数据属于 hive 表的单个分区)其中列 @ 987654325@ 具有几乎唯一的值,参数numPartitions 有助于将数据划分为确切数量的分区(15 是用于解释场景的随机数)所以在读取数据时,spark 有 15 个分区来排列数据。
现在我的 csv 文件大小为 35GB。我们总是可以根据代码中的要求repartition 一个数据帧,但是在读取 csv 文件时,spark 中有一个选项来分区数据吗?如果我已经知道 CSV 文件的架构和包含唯一值的列 custkey,我可以在 spark.read.format('csv') 语句中使用 partitionColumn 和 numpartitions 参数吗?如果不是,我如何在加载 csv 文件后确定repartition 数据的最佳分区数?
谁能告诉我是否可以按照我上面的要求做?
【问题讨论】:
-
文件压缩了吗?如果没有压缩或压缩格式为 BZip2,则 CSV 文件可以(自动)拆分
-
文件已经在 HDFS 上。我看到这些文件有
.deflate扩展名。所以我认为它们是压缩的。如果是可拆分的,如何应用拆分机制? -
AFAIK
deflate与不可拆分的gz相似,但我自己从未尝试过。如果它是可拆分的,spark 会根据执行者的数量自动拆分它
标签: csv apache-spark