Pyarrow 0.15.1 将空文件上传到 HDFS

Question

您好，我正在尝试使用 pyarrow Hadoop 文件系统接口中的上传方法将 csv 文件上传到我的 HDFS 集群：

import pyarrow as pa

fs = pa.hdfs.connect(host, port, user)
with open('test.csv') as f:
   pa.hdfs.HadoopFileSystem.upload(fs, '/data/test.csv', f)

由于某种原因，这总是将 0B 的空文件上传到 pyarrow 版本 0.15.1 中的 HDFS。但是当降级到 pyarrow 0.10.0 版本时，文件会正确上传。

我使用的是 HDFS 2.7.3 版

Answer 1

应该是：

with open('test.csv','rb') as f:

这可能是因为文件包含一些非 unicode 字符，需要以二进制形式读取。