如何在 dask 数据框中读取 csv.deflate hdfs 文件？答案

【问题标题】：How can a read csv.deflate hdfs files in a dask datfarame?如何在 dask 数据框中读取 csv.deflate hdfs 文件？
【发布时间】：2020-10-31 18:05:43
【问题描述】：

我正在尝试从 hdfs 路径读取 csv.deflate 文件并将它们放入 dask 数据框中。我尝试了 read_csv 并且收到“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x9c in position 1: invalid start byte”错误。然后，我设置了 engine='python' 和 encoding='utf-8' 但我仍然得到同样的错误。

【问题讨论】：

标签： csv hdfs dask deflate

【解决方案1】：

也许compression= 关键字会有所帮助？您将如何使用 Pandas 在本地读取这些数据？我怀疑您需要的关键字参数与在这种情况下所需的关键字参数相同。

【讨论】：