【发布时间】:2019-05-29 21:26:04
【问题描述】:
我有 .gz 压缩格式的行数据。我必须在 pyspark 中阅读它 以下是代码sn -p
rdd = sc.textFile("data/label.gz").map(func)
但我无法成功读取上述文件。如何读取 gz 压缩文件。我发现了一个类似的问题here,但我当前的 spark 版本与该问题中的版本不同。我希望应该有一些内置函数,如 hadoop。
【问题讨论】:
-
这不是一对一的重复,但你有必要的代码 sn-p :)
标签: python apache-spark pyspark