如何使用 Pyspark 并行处理多个镶木地板文件？

Question

我正在使用 Azure Databricks，而且我是 Pyspark 和大数据的新手。

这是我的问题：

我在 azure databricks 上的目录中有几个 parquet 文件。 我想将这些文件读入 pyspark 数据框并使用 drop duplicates 方法删除重复的行 - 一个 QA 检查。 然后我想在删除重复项后覆盖同一目录中的这些文件。

目前，我正在使用 for 循环来遍历目录中的每个 parquet 文件。然而，这是一种低效的做事方式。我想知道是否有一种方法可以并行处理这些镶木地板文件以节省计算时间。如果是这样，我需要如何更改我的代码。

代码如下：

for parquet_file_name in dir:
     df = spark.read.option("header", "true").option("inferschema", "false").parquet('{}/{}'.format(dir,parquet_file_name))
     df.dropDuplicates().write.mode('overwrite').parquet('{}/{}'.format(dir,parquet_file_name)

我们将不胜感激。

非常感谢。

Answer 1

与其在 for 循环中一次读取一个文件，不如像这样读取整个目录。

 df = spark.read \
    .option("header", "true") \
    .option("inferschema", "false").parquet(dir)


df.dropDuplicates().write.mode('overwrite').parquet(dir)

现在将按预期一次性读取所有数据。如果要更改写入的文件数，请在 .write 函数之前使用 coalesce 命令，如下所示：df.dropDuplicates().coalesce(4).write.mode('overwrite').parquet(dir)。