本地文件系统上的 Hadoop答案

【问题标题】：Hadoop on Local FileSystem本地文件系统上的 Hadoop
【发布时间】：2013-11-23 22:53:08
【问题描述】：

我在伪分布式上运行 Hadoop。我想通过为我的工作抽象 HDFS 从本地文件系统中读取和写入。我正在使用file:/// 参数。我关注了this link.

这是core-site.xml的文件内容，

<configuration>
 <property>
  <name>hadoop.tmp.dir</name>
  <value> /home/abimanyu/temp</value>   
 </property>

 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
 </property>

</configuration>

这是mapred-site.xml的文件内容，

<configuration>

 <property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
 </property>

 <property>
    <name>fs.default.name</name>
    <value>file:///</value>
 </property>

 <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>1</value>
 </property>

 <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>1</value>
 </property>

</configuration>

这是hdfs-site.xml的文件内容，

<configuration>

 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
</configuration>

这是我尝试启动恶魔时遇到的错误（使用 start-dfs 或 start-all），

localhost: Exception in thread "main" java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
localhost:      at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:212)
localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:244)
localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:236)
localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:194)
localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:150)
localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:676)

让我感到奇怪的是，这种从本地文件系统读取的操作在 hadoop-0.20.2 中完全正常，但在 hadoop-1.2.1 中却不行。从最初的版本到后来的版本有什么变化吗？让我知道如何从本地文件系统中读取 Hadoop JAR。

【问题讨论】：

您能详细说明您更新的配置的确切位置吗？还有你的 HADOOP_HOME 变量指向什么？
我在/home/abimanyu/binaries 安装了hadoop。所以我认为这是我的HADOOP_HOME。

标签： hadoop filesystems hdfs

【解决方案1】：

您可以从 mapred-site.xml 文件中删除 fs.default.name 值 - 这应该只在 core-site.xml 文件中。

如果您想在本地文件系统上以伪模式运行，这通常通过在所谓的本地模式下运行来实现 - 通过将 core-site.xml 中的 fs.default.name 值设置为 file:/ //（您当前已将其配置为 hdfs://localhost:54310）。

您看到的堆栈跟踪是辅助名称节点启动时 - 在“本地模式”下运行时不需要这样做，因为没有 fsimage 或编辑文件可供 2NN 使用。

修复您的 core-site.xml 和 mapred-site.xml。停止所有 hadoop 守护进程并启动 map-reduce 守护进程（Job Tracker 和 Task Tracker）。

【讨论】：