将数据直接下载到 HDFS 中？

【问题标题】：Download data directly into HDFS?将数据直接下载到 HDFS 中？
【发布时间】：2019-06-26 01:11:34
【问题描述】：

已经提出了类似的问题（here 和 here），但我的问题不同，我想知道是否有办法将数据（从 REST API 或 cURL）直接下载到 HDFS 集群中。

我试图避免在本地保存文件。

【问题讨论】：

【解决方案1】：

您可以使用 webHDFS REST API，但这是一个两步操作。具体上传文件：

第 1 步：

curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=CREATE
                    [&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>]
                    [&permission=<OCTAL>][&buffersize=<INT>]"

第 2 步：

curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?op=CREATE..."

在第 2 步中：您决定如何传递<LOCAL_FILE>，而 URL http://<DATANODE>:<PORT> 是第 2 步返回的那个。

此操作的更多信息在Create and Write to a File

【讨论】：