Eclipse Hadoop 插件在尝试连接时显示“java.io.EOFException”

Question

• 我正在尝试使用page 为 Hadoop 设置我的 Eclipse
• 我正在使用来自here 的hadoop eclipse 插件jar
• 我的 core-site.xml 看起来有以下内容：

  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

• 我的 mapred-site.xml 有以下内容

<property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

• 我在 Eclipse 中的 mapreduce 透视图下设置 hadoop 位置为

  位置名称：本地 Map Reduce Master

  • 主机：本地主机
  • 端口：54310

  DFS 大师

  • 主机：本地主机
  • 端口：54311

• 当我尝试连接时出现错误提示：

错误：本地异常调用 localhost/127.0.0.1:54311 失败：java.io.EOFException

• 谁能帮我解决这个问题？

谢谢

Answer 1

我没有太多问题。谷歌搜索会给你https://issues.apache.org/jira/browse/MAPREDUCE-1280 在你的eclipse中使用jar文件

$ cat mapred-site.xml 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

我将 master 设置为 8021，将 DFS master 设置为 8020。

我认为你正在犯同样的错误。在你的 Eclipse 配置中交换你的端口号，它应该可以工作

Answer 2

不幸的是 eclipse 插件已经过时了，几个月前我设法让它正常工作，但那是一场噩梦，我不得不在那里更改很多参数：(

我建议使用基于 web 的 hdfs 浏览：转到 http://localhost:50070 或您安装了 hadoop 的任何其他主机，然后单击“浏览文件系统”链接（上面的第一个蓝色链接），您将看到所有你需要。

Answer 3

我认为不是 hadoop 配置的问题。可能是hadoop eclipse插件造成的。

当你创建一个 hadoop 项目时，它不是 Map/Reduce 项目的类型（插件提供的项目类型）。当你用hadoop eclipse插件测试这个项目中的MapReduce代码时，会抛出EOFException。

同样的代码和同样的hadoop配置在Map/Reduce项目中运行成功。