如何在 python 3 中导入“HdfsClient”？

Question

我是 python 新手，我正在尝试连接 Hadoop HDFS 系统。我得到了以下参考代码，我尝试实现它，但在导入包时显示错误。

from pyarrow import HdfsClient

# Using libhdfs
hdfs = HdfsClient('192.168.0.119', '50070', 'cloudera', driver='libhdfs')

错误：ImportError：无法导入名称“HdfsClient”

我什至尝试使用“pip”安装它，但是

找不到满足HdfsClient要求的版本 （来自版本：）未找到 HdfsClient 的匹配分布

然后我尝试使用“conda”，但又一次

收集包元数据：完成解决环境：失败

PackagesNotFoundError：以下包不可用 当前频道：

• hdfsclient

当前频道：

• https://repo.anaconda.com/pkgs/main/win-64
• https://repo.anaconda.com/pkgs/main/noarch
• https://repo.anaconda.com/pkgs/free/win-64
• https://repo.anaconda.com/pkgs/free/noarch
• https://repo.anaconda.com/pkgs/r/win-64
• https://repo.anaconda.com/pkgs/r/noarch
• https://repo.anaconda.com/pkgs/msys2/win-64
• https://repo.anaconda.com/pkgs/msys2/noarch

搜索可能提供 conda 包的替代渠道 您正在寻找，导航到

https://anaconda.org

并使用页面顶部的搜索栏。

实际上我正在尝试使用以下方式连接到 HUE：

IP 地址 -> 192.168.0.119

端口名称 -> 50070

用户名 -> cloudera

密码 -> cloudera

但它没有成功。谁能建议以更好的方式连接它或如何在 Python 3 中导入“HdfsClient”包。

Answer 1

HDFSClient 已弃用。您可能想使用pyarrow.hdfs.connect。 也可以试试pip freeze，看看你的python环境中是否安装了相关库。 前任。

from pyarrow import hdfs
hdfs.connect('192.168.0.119', 50070, 'cloudera', driver='libhdfs')