【问题标题】:How to read gz compressed file by pyspark如何通过pyspark读取gz压缩文件
【发布时间】:2019-05-29 21:26:04
【问题描述】:

我有 .gz 压缩格式的行数据。我必须在 pyspark 中阅读它 以下是代码sn -p

rdd = sc.textFile("data/label.gz").map(func)

但我无法成功读取上述文件。如何读取 gz 压缩文件。我发现了一个类似的问题here,但我当前的 spark 版本与该问题中的版本不同。我希望应该有一些内置函数,如 hadoop。

【问题讨论】:

标签: python apache-spark pyspark


【解决方案1】:

Spark document明确指定可以自动读取gz文件:

Spark 的所有基于文件的输入法,包括 textFile,都支持 也可以在目录、压缩文件和通配符上运行。为了 例如,您可以使用 textFile("/my/directory"), textFile("/my/directory/.txt") 和 textFile("/my/directory/.gz")。

我建议运行以下命令,看看结果:

rdd = sc.textFile("data/label.gz")

print rdd.take(10)

假设 spark 找到文件data/label.gz,它将打印文件中的 10 行。

请注意,data/label.gz 等文件的默认位置将位于 spark-user 的 hdfs 文件夹中。有吗?

【讨论】:

    【解决方案2】:

    您可以通过spark实例直接将压缩文件加载到dataframes中,只需在路径中指定压缩:

    df = spark.read.csv("filepath/part-000.csv.gz") 
    

    您还可以选择指定是否存在标头或架构是否也需要应用

    df = spark.read.csv("filepath/part-000.csv.gz", header=True, schema=schema). 
    

    【讨论】:

      【解决方案3】:

      您没有写出收到的错误消息,但它可能对您不利,因为gzipped files are not splittable。您需要使用可拆分的压缩编解码器,例如 bzip2。

      【讨论】:

      • 如果你运行sc.textFile("data/label.gz").count()它显示0?
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2018-09-04
      • 2020-02-12
      • 2017-02-16
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多