pyarrow：非传统文件系统无法连接，即使传统可以

Question

当尝试使用 pyarrow 包（版本 0.17.1）中的非旧数据集时，我在连接到 hdfs 时收到 OSError: HDFS connection failed 错误。但是，当我使用旧版时，我可以毫无问题地建立连接。

即波纹管工作：

filesystem = pa.hdfs.connect(host = 'host_name', kerb_ticket = path_to_kerb_ticket_cache, port = 0)

但事实并非如此：

filesystem = pa.fs.HadoopFileSystem(host = 'host_name', kerb_ticket = path_to_kerb_ticket_cache, port = 0)

此外，如果我首先使用传统方式创建连接，然后尝试使用非传统方式连接，一切正常：

filesystem = pa.hdfs.connect(host = 'host_name', kerb_ticket = path_to_kerb_ticket_cache, port = 0)
filesystem = pa.fs.HadoopFileSystem(host = 'host_name', kerb_ticket = path_to_kerb_ticket_cache, port = 0)

知道如何正确使用 pa.fs.HadoopFileSystem 吗？

Answer 1

当您使用旧版连接功能并将主机输入为default 时，它会采用来自core-site.xml 的默认主机（默认FS）。新的 HadoopFileSystem 调用不会执行此操作。手动将主机输入HadoopFileSystem 为我修复了它。

例如在这部分进入主机

fs.HadoopFileSystem(host='hdfs://your-hdfs-host' ...)

而不是输入default

fs.HadoopFileSystem(host='default' ...)