【问题标题】:Keep running Dataproc Master node继续运行 Dataproc 主节点
【发布时间】:2018-11-07 20:36:26
【问题描述】:

是否可以让主机在 Dataproc 中运行?每次我在一段时间(约 1 小时)后运行该作业时,我都会看到主节点已停止。这不是一个真正的问题,因为我很容易再次启动它,但我想知道是否有办法让它保持清醒。

我想到的一种可能的方法是在主机上做一个计划作业,但想知道是否有更官方的方法来实现这一点。

【问题讨论】:

  • 不应阻止主节点处于空闲状态。您能否检查项目的活动提要并查找有关在您的主节点上称为停止实例的源的详细信息?
  • 我签入了活动。它已被 Compute Engine 默认服务帐号停止。
  • 我会尝试查看导致关闭时间段的日志。你有没有调用关机/重启/暂停的脚本?我刚刚验证了让集群空闲 1 小时以上不会自动关闭。
  • 谢谢!我创建了另一个集群,但似乎没有发生这种情况。我认为这是因为我的集群是按照一些教程创建的,并且有一些初始化操作。
  • 嗨,我想知道你发现什么初始化导致了这个问题?我有同样的问题,但无法弄清楚原因..

标签: google-cloud-platform google-compute-engine google-cloud-dataproc


【解决方案1】:

Dataproc 在空闲时不会停止任何集群节点(包括主节点)。

您需要检查您是否有某种自动化或用户可以最终执行此操作。

【讨论】:

  • 我看到我的集群中有一些初始化文件。我按照一些教程创建了集群,但不确定为什么会有这些文件。但我认为你是对的,问题应该由我来解决。
  • @user9721331 你找到问题出在哪里了吗?我遇到了同样的问题...
  • 供参考,使用Datalab初始化动作时的相关问题:stackoverflow.com/questions/55583747/…
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2016-02-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-09-08
  • 2016-04-24
  • 2022-08-12
相关资源
最近更新 更多