(PY)Spark：如何读取扩展名为“.gz”的“.txt”文件答案

【问题标题】：(PY)Spark: How to read a ".txt" file with extension name ".gz"(PY)Spark：如何读取扩展名为“.gz”的“.txt”文件
【发布时间】：2019-06-24 10:40:04
【问题描述】：

我需要在 spark 中加载一个纯 txt RDD。但是由于某些原因，要加载的文件的文件名必须命名为“xxx.gz”。默认情况下，此文件在使用 sc.textFile 时被识别为 gz 文件。如何告诉 spark 将文件识别为纯 txt 文件？

【问题讨论】：

【解决方案1】：

您可以使用gzip。

gzip.open(filename, mode='rb', compresslevel=9, encoding=None, errors=None, newline=None)

【讨论】：