【问题标题】:h2o is not using all processorsh2o 没有使用所有处理器
【发布时间】:2017-07-14 23:55:02
【问题描述】:

我有一台有 48 个处理器的服务器。

服务器未虚拟化,h2o 看到 48 个处理器,但其中 16 个由于某种原因未被使用。

有什么建议吗?

enter image description here

【问题讨论】:

  • 你训练的是哪种算法,H2O的版本是什么?
  • 深度学习 3.8.0.2
  • 我试过一次运行两个模型,h2o 仍然没有使用所有的处理器。我有预感这是一个 java 问题
  • R 连接到 H2O 集群:H2O 集群正常运行时间:8 小时 28 分钟 H2O 集群版本:3.8.0.2 H2O 集群名称:根 H2O 集群节点总数:1 H2O 集群总内存:26.67 GB H2O集群总内核数:48 H2O 集群允许内核数:32 H2O 集群健康:TRUE

标签: h2o


【解决方案1】:

看起来您的 H2O 集群是以 32 个内核而不是全部 48 个内核启动的。这就是“H2O 集群允许的内核数:32”所表明的情况。要使用所有内核,请执行以下操作:

  1. 使用h2o.shutdown() 关闭现有的 H2O 集群
  2. 使用h2o.init(nthreads = -1) 从 R 启动一个新的 H2O 集群,这意味着它将使用所有可用的内核。如果由于某种原因不起作用,请尝试h2o.init(nthreads = 48)
  3. 您还可以通过键入以下内容从命令行启动 H2O 集群:java -Xmx30g -jar h2o.jar -nthreads 48,然后使用 h2o.init() 在 R 内部进行连接。

也可以随意升级到latest stable version of H2O(3.8.0.2 有点过时,现在我们是 3.8.1.1)。

【讨论】:

    【解决方案2】:

    这似乎是旧版本的限制。修复了现在使用 3.10 和测试 3.12 的问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2010-11-26
      • 2010-10-13
      • 1970-01-01
      • 1970-01-01
      • 2013-10-08
      • 2012-09-03
      相关资源
      最近更新 更多