从 hdfs 复制到远程机器

Question

您好，我正在 hadoop 集群的一个终端节点上运行此命令。 我想将数据从 hdfs 复制到某个远程机器。由于本地计算机中的磁盘配额有限，我无法将其存储在本地。我要跑hdfs dfs -get /data/abc remotemac/abc

Answer 1

您不能直接执行此操作，但可以查看 Hoop 和 WebHDFS REST API。 Hoop 让您可以通过 HTTP/HTTPS 访问 HDFS 读写。

在 Hortonworks 上有一个关于 WebHDFS HTTP rest access to HDFS 的博客。

还有一个使用sshj 的解决方案。它是 SSHv2 的纯 Java 实现，允许您连接到 sshd 服务器并使用端口转发、文件传输等。详情请参阅以下参考：

参考：https://blog.layer4.fr/2013/04/09/transfert-files-from-hadoop-to-a-remote-server-via-ssh/