【问题标题】:Whirr for large cluster beyond 10 NodesWhirr 适用于超过 10 个节点的大型集群
【发布时间】:2014-06-20 00:47:11
【问题描述】:

每当我尝试使用 whirr -0.8.2 启动大于 10 个节点的集群时,集群无法初始化。是 0.8.2 的问题吗?在 Jira 中,它已在最新的主干中解决。

【问题讨论】:

    标签: hadoop amazon-ec2 amazon


    【解决方案1】:

    最后我能够解决这个问题。我从后备箱(版本 0.9.0)构建了 whirr。然后添加以下参数来增加超时时间。

    jclouds.compute.timeout.node-terminated=2200000
    jclouds.compute.timeout.node-running=2600000
    jclouds.compute.timeout.script-complete=22000000
    jclouds.compute.timeout.port-open=2200000 jclouds.ssh.retry-auth=true
    jclouds.compute.poll-status.initial-period=20000
    jclouds.compute.poll-status.max-period=20000
    

    除此之外还补充了:

    whirr.instance-templates-max-percent-failures=100
    hadoop-namenode+yarn-resourcemanager+mapreduce-historyserver,80
    hadoop-datanode+hadoop-tasktracker
    whirr.terminate-all-on-launch-failure=true
    

    现在 whir 能够启动大型集群。

    【讨论】:

      猜你喜欢
      • 2020-03-02
      • 2017-01-21
      • 1970-01-01
      • 2019-09-28
      • 2020-10-10
      • 2014-12-31
      • 2018-12-04
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多