使用python如何用spark解压缩文件？

Question

def compress():
    if args['compression'] == 'Yes':

        for day in getdate():
            x = str(day.strftime('%Y/%m/%d')).replace("/0","/")
            print (x)

            loc_postfix = log_type+"/"+x
            location = "s3://bucket/rawfiles/"+loc_postfix+"/*"
            compressed_path = "s3://bucket/compressfiles/"+loc_postfix+""
            rawfile = spark.read.text(location).repartition(partitions)
            rawfile.write.text(compressed_path, compression="bzip2")

这是我用于压缩文件的代码，但现在我正试图弄清楚如何使用 spark 解压缩文件。为了压缩，我从按年/月/日分区的 rawfiles 文件夹中读取文件，然后使用分区压缩到 bz2（这只会创建指定数量的文件，例如 bz2：100 个文件按 20 分区将产生 20 个 bz2 文件）。此代码在胶水作业中运行。

Answer 1

spark.read 应该会自动处理压缩文件，读取前不需要解压。