scp远程文件到hadoop而不将它复制到边缘节点答案

【问题标题】：scp remote file into hadoop without copying it to edge nodescp远程文件到hadoop而不将它复制到边缘节点
【发布时间】：2020-06-05 06:42:20
【问题描述】：

想要将文件从远程服务器复制到 hadoop 而不复制到边缘节点。

1.根据下面的文章，我们可以分两步完成，首先对本地边缘节点执行 scp，然后执行 hdfs fs 命令从边缘节点移动到 hdfs https://community.cloudera.com/t5/Support-Questions/Import-data-from-remote-server-to-HDFS/td-p/233148

2.根据下面的文章，我们可以做 ssh cat，但是我们有像 .gz 这样的文件，不能是 CAT putting a remote file into hadoop without copying it to local disk

但我正在寻找第三个选项，我们可以使用 scp 而不是 ssh CAT 并复制到 hadoop 而无需复制到 Edge 节点。

【问题讨论】：

【解决方案1】：

使用管道传输

mkfifo - 这会在本地服务器上创建管道（不存储任何数据）

试试 mkfifo | SCP：| hdfs dfs -put | rm

【讨论】：

【解决方案2】：

Hadoop 没有 SCP 上传功能。

如果您想在没有边缘节点或 SSH 的情况下获取文件，那么这就是 WebHDFS 或 NFSGateway 提供的功能

【讨论】：