使用 copyFromLocal 开关将数据移动到 hdfs

Question

我不知道这里发生了什么，但我正在尝试将一个简单文件从本地文件系统中的目录复制到为 hdfs 指定的目录。

在我的 hdfs-site.xml 中，我使用以下属性指定 hdfs 的目录将是 /home/vaibhav/Hadoop/dataNodeHadoopData -

<name>dfs.data.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>

and 

<name>dfs.name.dir</name>
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value>

我正在使用以下命令 -

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data /home/vaibhav/Hadoop/dataNodeHadoopData

将文件 u.data 从它的本地文件系统位置复制到我指定为 Hdfs 目录的目录。但是当我这样做时，什么都没有发生——没有错误，什么都没有。并且没有文件被复制到 hdsf。难道我做错了什么？可能存在任何权限问题？

需要建议。

我使用的是伪分布式单节点模式。

另外，在相关说明中，我想问一下，在我的 map reduce 程序中，我已将配置设置为指向 inputFilePath 作为 /home/vaibhav/ml-100k/u.data。那么它不会自动将文件从给定位置复制到 hdfs 吗？

Answer 1

我相信dfs.data.dir 和dfs.name.dir 必须指向两个不同的现有目录。此外，请确保您在更改配置中的目录后格式化了 namenode FS。

在复制到 HDFS 时，您错误地指定了目标。将本地文件复制到 HDFS 的正确语法是：

bin/hadoop dfs -copyFromLocal <local_FS_filename> <target_on_HDFS>

例子：

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data

这将在您用户的 HDFS 主目录中创建一个文件 my.data。 在将文件复制到 HDFS 之前，请确保您首先掌握列出目录内容和目录创建。