Hadoop 性能建模

Question

我正在研究 Hadoop 性能建模。 Hadoop 有 200 多个参数，因此无法手动设置它们。因此，我们经常使用默认参数值运行我们的 hadoop 作业（例如使用默认值 io.sort.mb、io.sort.record.percent、mapred.output.compress 等）。但是使用默认参数值会给我们带来次优性能。 Herodotos Herodotou (http://www.cs.duke.edu/starfish/files/vldb11-job-optimization.pdf) 在这方面做了一些工作来提高性能。但我对他们的工作有以下疑问--

1. 他们正在为 MapReduce 作业的所有阶段（读取、映射、收集等）固定作业开始时的参数值（根据数据的比例假设）。我们是否可以根据运行时环境（如集群配置、底层文件系统等）在运行时为每个阶段设置不同的这些参数值，通过更改特定节点的 Hadoop 配置日志文件以从节点获得最佳性能？
2. 他们正在为 Hadoop 核心使用白盒模型，它们仍然适用于 当前的 Hadoop (http://arxiv.org/pdf/1106.0940.pdf)？

Answer 1

不，您不能为每个节点的每个作业动态更改 MapReduce 参数。

配置节点集

您可以做的是在配置文件（通常位于/etc/hadoop/conf）中静态更改每个节点的配置参数，以便您可以通过不同的硬件配置充分利用集群。

示例：假设您有 20 个具有不同硬件配置的工作节点，例如：

• 10 个，配置 128GB RAM，24 核
• 10 个，配置 64GB RAM，12 个核心

在这种情况下，您可能希望配置每个相同的服务器以充分利用硬件，例如，您可能希望在具有更多 RAM 和核心的工作节点上运行更多子任务（映射器和缩减器），例如：

• 具有 128GB RAM、24 核 => 36 个工作任务（映射器 + 减速器）的节点，每个工作任务的 JVM 堆约为 3GB。
• 具有 64GB RAM、12 个内核的节点 => 18 个工作任务（映射器 + 减速器），每个工作任务的 JVM 堆大约为 3GB。

因此，您可能希望使用适当的参数分别配置节点集。

使用 ToolRunner 将配置参数动态传递给 Job：

此外，您可以动态更改每个作业的 MapReduce 作业参数，但这些参数将应用于整个集群，而不仅仅是一组节点。前提是您的 MapReduce 作业驱动程序扩展了 ToolRunner。

ToolRunner 允许您解析generic hadoop command line arguments。您将能够使用 -D property.name=property.value 传递 MapReduce 配置参数。

您几乎可以将几乎所有的 hadoop 参数动态地传递给作业。但大多数通常动态地将 MapReduce 配置参数传递给作业是：

• mapreduce.task.io.sort.mb
• mapreduce.map.speculative
• mapreduce.job.reduces
• mapreduce.task.io.sort.factor
• mapreduce.map.output.compress
• mapreduce.map.outout.compress.codec
• mapreduce.reduce.memory.mb
• mapreduce.map.memory.mb

这是一个示例 terasort 作业，每个作业动态传递大量参数：

hadoop jar hadoop-mapreduce-examples.jar tearsort \
    
  -Ddfs.replication=1 -Dmapreduce.task.io.sort.mb=500 \
    
  -Dmapreduce.map.sort.splill.percent=0.9 \
    
  -Dmapreduce.reduce.shuffle.parallelcopies=10 \
    
  -Dmapreduce.reduce.shuffle.memory.limit.percent=0.1 \
    
  -Dmapreduce.reduce.shuffle.input.buffer.percent=0.95 \
    
  -Dmapreduce.reduce.input.buffer.percent=0.95 \
    
  -Dmapreduce.reduce.shuffle.merge.percent=0.95 \
    
  -Dmapreduce.reduce.merge.inmem.threshold=0 \
    
  -Dmapreduce.job.speculative.speculativecap=0.05 \
    
  -Dmapreduce.map.speculative=false \
    
  -Dmapreduce.map.reduce.speculative=false \

  -Dmapreduce.job.jvm.numtasks=-1 \
  -Dmapreduce.job.reduces=84 \

  -Dmapreduce.task.io.sort.factor=100 \
    
  -Dmapreduce.map.output.compress=true \

  -Dmapreduce.map.outout.compress.codec=\
        
    org.apache.hadoop.io.compress.SnappyCodec \
    
  -Dmapreduce.job.reduce.slowstart.completedmaps=0.4 \
    
  -Dmapreduce.reduce.merge.memtomem.enabled=fasle \
    
  -Dmapreduce.reduce.memory.totalbytes=12348030976 \
    
  -Dmapreduce.reduce.memory.mb=12288 \

  -Dmapreduce.reduce.java.opts=“-Xms11776m -Xmx11776m \
      
    -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode \
      
    -XX:+CMSIncrementalPacing -XX:ParallelGCThreads=4” \

  -Dmapreduce.map.memory.mb=4096 \

  -Dmapreduce.map.java.opts=“-Xmx1356m” \
    
  /terasort-input /terasort-output