在同一台机器上运行多个 hadoop 实例答案

【问题标题】：Running multiple hadoop instances on same machine在同一台机器上运行多个 hadoop 实例
【发布时间】：2010-02-25 08:36:14
【问题描述】：

我希望在已经运行 Hadoop 实例的机器上运行第二个 Hadoop 实例。解压 hadoop 发行版后，需要从 hadoop-version/conf 目录更改一些配置文件。两个实例的 linux 用户将相同。我已经确定了以下属性，但是，我不确定这是否足够好。

hdfs-site.xml : dfs.data.dir 和 dfs.name.dir

core-site.xml : fs.default.name 和 hadoop.tmp.dir

mapred-site.xml : mapred.job.tracker

我找不到作业跟踪器/任务跟踪器/DFS Web 界面端口号的属性名称。它们的默认值分别为 50030、50060 和 50070。

是否还有其他属性需要更改以确保新的 hadoop 实例在其自己的环境中运行？

【问题讨论】：

【解决方案1】：

在 src/hdfs/hdfs-default.xml 和 src/mapred/mapred-default.xml 中查找“.address”，你会发现那里定义了很多属性。

顺便说一句，我有一个启用了防火墙的盒子，我观察到默认配置中的有效端口是 50010、50020、50030、50060、50070、50075 和 50090。

【讨论】：

感谢您的指点。虽然所有这些 *.address 配置参数都可以被覆盖，但 mapred.task.tracker.report.address 似乎是一个交易破坏者。它的值是 127.0.0.1:0，根据文档hadoop.apache.org/common/docs/current/mapred-default.html，这似乎是 EXPERTS ONLY 参数我不在这个领域冒险。接受您提供正确指示的答案。