将文件从 hadoop 集群（远程 Windows 机器）上传到 hdfs，就像 Hue 上传一样答案

【问题标题】：Upload file from out of haddop cluster(remote windows machine) to hdfs just like hue upload将文件从 hadoop 集群（远程 Windows 机器）上传到 hdfs，就像 Hue 上传一样
【发布时间】：2016-10-19 17:08:10
【问题描述】：

我正在尝试找出将文件从本地 Windows 机器或本地 linux 机器复制到云上的 hdfs 的解决方案。

我知道一种解决方案，

远程 -> 集群节点（使用 scp）

node -> hdfs（使用 hdfs 命令）

但对于我的用例，它不起作用，我需要找到一种解决方案，直接将文件从本地上传到 hdfs，就像 hue 用于上传一样。

我也尝试了以下命令

hdfs dfs -copyFromLocal 文件：://: hdfs://

但它通过以下错误：

copyFromLocal: `': 没有这样的文件或目录

任何建议将不胜感激。

-谢谢

维卡什

【问题讨论】：

标签： hadoop hdfs hue

【解决方案1】：

请注意您首先在 hdfs 中创建目录，然后，

hadoop fs -put /path/in/linux /hdfs/path

或

hadoop fs -copyFromLocal /path/in/linux /hdfs/path

【讨论】：

感谢您的回复。这对于本地 linux 到 hdfs 是正确的，但我的问题是从远程 Windows 机器复制到 hdfs。
cat <file_name> | ssh username@masternode "hadoop dfs -put - hadoopFoldername/" 检查这个：Hadoop - copy directly to hdfs from external machine
我想出了hue的实现，并且无法直接将文件从远程位置复制到hdfs。我们需要将文件复制到暂存位置，然后我们可以移动到 hdfs。现在我这个远程只有一个路径 -> 集群节点（使用 scp）节点 -> hdfs（使用 hdfs 命令）