使用库:pyhdfs

调用方法:

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

异常现象1如下图:

python上传文件到hadoop异常问题

异常现象2如下图:

python上传文件到hadoop异常问题

异常现象3如下图:

python上传文件到hadoop异常问题

原因分析:可以看出,以上都是连接成功了,但是上传或者下载失败了,造成这种现象的原因是

我这里连接的是name节点,端口50070,当调用copy_from_local()时,name节点会主动去连接data节点进行数据读写操作,而data节点端口50075没有开启,造成data节点连接超时,抛出异常

解决办法:开启data节点端口


相关文章:

  • 2021-11-02
  • 2021-12-14
  • 2022-12-23
  • 2021-12-08
  • 2022-01-19
  • 2021-04-24
  • 2021-07-02
  • 2022-01-15
猜你喜欢
  • 2022-12-23
  • 2022-03-03
  • 2021-05-06
  • 2021-04-08
  • 2021-11-30
  • 2021-10-10
相关资源
相似解决方案