hadoop 中的公平调度答案

【问题标题】：fair scheduling in hadoophadoop 中的公平调度
【发布时间】：2013-03-09 23:14:44
【问题描述】：

在多节点设置（主从）中配置公平调度时，应该在 mapred-site.xml 中为两个节点定义属性还是只在主节点中定义属性？谢谢。

【问题讨论】：

默认情况下，每个 Hadoop 节点都有自己的配置，除非有一个全局位置，它们从中进行符号链接。我会让它们在集群中保持同步。
调度程序配置仅适用于 JobTracker（即您的“主”）。诸如Cloudera Manager 之类的工具可以很好地自动完成按角色分离配置并保持它们总体整洁的工作 - 使用单独的客户端配置和每个角色的服务配置。

标签： hadoop

【解决方案1】：

通常您不需要在多个位置定义属性。如果需要，Hadoop 会自动将 mapred-site.xml 文件复制到从属服务器。

如果您在本地运行，则需要编辑 HADOOP_CONF_DIR/mapred-site.xml。

如果您在 Amazon 的 EMR 集群上运行，那么在启动集群本身时，您可以提供此配置文件作为引导操作，它将被复制到所有节点中。可以使用 cli 完成，如下所示：

ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge --
slave-instance-type m1.xlarge --num-instances 11  --name "Cluster name"  --bootstrap-action 
s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args "--mapred-config-file, 
s3://<path-to-conf>/mapred-site-edited.xml"

所以基本上每个 Hadoop 节点都应该有自己的配置，但您不需要手动将其复制到每个节点。

【讨论】：