我已经安装了pyarrow 并希望连接到 Hadoop 集群中的 hdfs 文件。我有以下行，它给了我错误。
fs = pa.hdfs.connect(host='...', 50057, user='...', kerb_ticket='/tmp/krb5cc_0')
这是我收到的错误消息
ArrowIOError: Unable to load libhdfs
我应该如何安装libhdfs？我还需要做哪些其他依赖项/设置？
【问题讨论】：
标签： python hadoop hdfs pyarrow
pyarrow.hdfs.connect(host='default', port=0, user=None, kerb_ticket=None, driver='libhdfs', extra_conf=None)
您必须确保libhdfs.so 在$HADOOP_HOME/lib/native 和$ARROW_LIBHDFS_DIR 中。
对于HADOOP：
bash-3.2$ ls $ARROW_LIBHDFS_DIR
examples libhadoop.so.1.0.0 libhdfs.a libnativetask.a
libhadoop.a libhadooppipes.a libhdfs.so libnativetask.so
libhadoop.so libhadooputils.a libhdfs.so.0.0.0 libnativetask.so.1.0.0
我知道的最后一个版本是Hadoop 3.2.0
您可以使用 DistributedCache 加载任何本机共享库，以分发和符号链接库文件。
此示例向您展示如何分发共享库 mylib.so，并从 MapReduce 任务中加载它。 see informations
首先将库复制到HDFS：bin/hadoop fs -copyFromLocal mylib.so.1 /libraries/mylib.so.1
作业启动程序应包含以下内容：
DistributedCache.createSymlink(conf); DistributedCache.addCacheFile("hdfs://host:port/libraries/mylib.so. 1#mylib.so", conf);
MapReduce 任务可以包含：System.loadLibrary("mylib.so");
注意：如果您下载或构建了本机 hadoop 库，则无需使用 DistibutedCache 使该库可用于您的 MapReduce 任务。
【讨论】：