在本地运行 Hadoop，在 VM 中访问 HDFS。找不到本地文件答案

【问题标题】：Running Hadoop locally, accessing HDFS in VM. Can't find local files在本地运行 Hadoop，在 VM 中访问 HDFS。找不到本地文件
【发布时间】：2014-02-04 06:07:29
【问题描述】：

为什么 HDFS 不能从我的本地机器读取文件？此异常中的路径似乎表明它正在从我的笔记本电脑（而不是 VM）读取，但找不到该文件。 ls 表明它确实存在（见底线）。请让我知道我可以提供哪些更多信息！

java.io.FileNotFoundException: File file:/Users/rose/bigdata/4/data/data.txt does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:468)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:380)
at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:139)
at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:335)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:746)
at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.initialize(LineRecordReader.java:83)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:478)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:671)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:330)
at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.secur
14/02/03 16:05:27 WARN mapred.JobClient: Error reading task outputConnection refused
14/02/03 16:05:27 WARN mapred.JobClient: Error reading task outputConnection refused
ç∂ç^C~/bigdata/4/data ls
c1.txt c2.txt data.txt vocab.txt

【问题讨论】：

标签： hadoop hdfs

【解决方案1】：

我相信除非你专门配置Hadoop忽略HDFS（core-site.xml：属性fs.defaultFS设置为file:///），否则它会从HDFS读取。

要么将文件上传到 HDFS（通过使用 hdfs dfs -put <file> <destination-on-hdfs> 到正在运行的 HDFS 节点），要么更改 Hadoop 配置。您可能需要配置的不仅仅是 fs.defaultFS 属性以使其正常工作。

我希望这会有所帮助。 :)

【讨论】：