如何将目录上传到 HDFS

【问题标题】：How to upload a directory to HDFS如何将目录上传到 HDFS
【发布时间】：2019-11-24 12:36:22
【问题描述】：

我正在做一个项目，我需要通过 REST API 从我的 Hadoop 集群外部的机器将目录上传到 HDFS。基本上，我需要一个命令，我可以通过终端（或 Python 脚本）使用 REST API 将目录发送到 HDFS。

WebHDFS 文档中指定的唯一方法是上传单个文件。这对我来说还不够，因为我需要通过 REST API 上传数千个文件。

提前致谢！

这适用于使用单个节点作为 NameNode 和 DataNode 的 HDFS，非常默认的配置。

【问题讨论】：

标签： python rest hadoop hdfs webhdfs

【解决方案1】：

您可以先尝试创建一个空目录：

curl -i -s --user your_username:your_password --max-time 45 -X PUT https://XXXXX:8443/gateway/default/webhdfs/v1/user/path_to_directory?op=MKDIRS

然后就可以上传文件了：

curl -i -L -s --user your_username:your_password --max-time 45 -X PUT -T file_name.txt \ https://XXXXX:8443/gateway/default/webhdfs/v1/user/path_to_director/path_to_file/file_name?op=CREATE

参考：https://cloud.ibm.com/docs/services/AnalyticsEngine?topic=AnalyticsEngine-upload-files-hdfs

【讨论】：