从 Windows 将文件传入和传出 HDFS答案

【问题标题】：Transfer files in and out of HDFS from Windows从 Windows 将文件传入和传出 HDFS
【发布时间】：2021-08-17 22:01:25
【问题描述】：

我需要一种方法来将文件从不属于集群的节点传入和传出 HDFS。是否存在带有浏览按钮的 UI 来执行此操作？我正在使用一台 Windows 机器，我需要从该机器向 HDFS 进行传输。

【问题讨论】：

标签： hadoop hdfs

【解决方案1】：

我认为箍可以帮助你。
https://github.com/cloudera/hoop

Hoop，基于 HTTP 的 Hadoop HDFS

Hoop 是一个为 HDFS 提供 REST HTTP 网关的服务器，该网关具有完整的读写能力。

Hoop 在 Apache License 2.0 下分发。

Hoop 已被贡献给 Apache Hadoop，它作为一部分提供 Hadoop 0.23.x 版本。

【讨论】：

我不能使用 pscp 或 psftp 来达到目的吗？

【解决方案2】：

如果您可以从 Windows 机器访问集群节点（网络、dns、防火墙），那么您可以使用Eclipse Hadoop plugin 来查看 HDFS 并与之交互（但同样，它确实需要您有能力联系集群中的数据节点）。

【讨论】：

谢谢。但我想我需要先为 hadoop 插件创建一个 jar，因为 hadoop 现在不提供它自己以前用于在 /hadoop/contib/eclipse 中提供的 jar。另外，我可以使用 pscp 或 psftp 进行传输吗？使用 pscp 或 psftp 直接传输到 hdfs？
不，没有 pscp 或 psftp 接口 - 我想您可以将文件 pscp 到集群内的一个节点（或者可以通过网络访问集群节点并安装/配置 hadoop 的节点），然后跟进ssh host hadoop fs -put file file，但您需要一个支持这种语法风格的 ssh 客户端。
谢谢。 eclipse插件可以帮助我直接将文件传入和传出HDFS吗？日食将在不属于集群的机器中。
是的，它可以在不属于集群的机器上运行，但我必须再次强调，它必须能够与集群中的名称节点和数据节点通信。

【解决方案3】：

您可以尝试使用 HadoopDrive shell 扩展：http://hadoopdrive.effisoft.eu

【讨论】：