Spark - 如何将 Bz2 文件解压缩为 parquet 文件

Question

我有一个被压缩成 bzip2 的 parquet 文件，这与使用 bzip2 或 snappy 压缩的 parquet 文件不同。

有人可以告诉我如何将此文件解压缩回 parquet 文件吗？

我试过了

spark.sparkContext.textFile("/mnt/shahgau/test/000000_0.bz2").saveAsHadoopFile("/mnt/shahgau/test/00000_0.parquet", "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat")

错误：

org.apache.spark.SparkException: RDD element of type java.lang.String cannot be used

我尝试将其作为 parquet 文件读取，但随后出现错误

spark.read.parquet("/mnt/shahgau/test/000000_0.bz2").show()

错误：

Caused by: java.io.IOException: Could not read footer for file: 

Answer 1

如果你自己使用过 bzip2，我可以使用如下：

%sh 允许您在笔记本中运行 shell 代码。

压缩.parquet

%sh
bzip2 /dbfs/FileStore/user/adf/userdataOriginal.parquet

解压回parquet：

%sh
bzip2 -d /dbfs/FileStore/user/adf/userdataOriginal.parquet.bz2

读取拼花文件：

spark.read.parquet("dbfs:/FileStore/user/adf/userdataOriginal.parquet").show()