【问题标题】:Kill Dataproc job from Yarn UI no longer works -- only from Dataproc UI从 Yarn UI 终止 Dataproc 作业不再有效 - 仅从 Dataproc UI
【发布时间】:2019-07-11 01:01:20
【问题描述】:

我曾经能够通过 Yarn UI KILL 命令杀死在 Dataproc 上运行的 Spark 作业,而不是通过 GCP Dataproc UI 命令(速度慢得多)。但是我不能再这样做了——只有 GCP UI 可以工作。

是发生了什么变化还是我现在做错了什么?

我使用的是 Dataproc 1.2 版(过去曾使用过)。

【问题讨论】:

  • 你试过 1.3 和 1.4 吗?
  • 不,我没有,因为在 1.2 中一切正常,而且它完全具有 Spark/etc。我需要的版本。我会尽快尝试 1.3 和/或 1.4,如果有帮助,我会在此处发布。但它曾经在 1.2 上运行良好

标签: google-cloud-dataproc


【解决方案1】:

为避免 YARN 安全漏洞,现在默认禁用非获取 API,但用户可以在创建集群时更改它(谨慎),或者更新配置然后重新启动 Hadoop 服务以运行集群。此外,如本题标题所述,用户可以从 Dataproc UI 中终止作业,建议这样做。

yarn-site.xml yarn.resourcemanager.webapp.methods-allowed 属性现在默认为“GET,HEAD”。此更改将可在 YARN 资源管理器 Web UI(默认端口 8088)和 REST API 上调用的 HTTP 方法限制为仅 GET 和 HEAD,并禁用通过 YARN REST API 提交和修改作业。您可以通过在创建集群时将 yarn.resourcemanager.webapp.methods-allowed 属性设置为一个或多个逗号分隔的 HTTP 方法名称来覆盖默认值并在端口 8088 上启用特定的 HTTP 方法。 ALL 值将允许端口上的所有 HTTP 方法。 示例:gcloud dataproc clusters create --properties='yarn:yarn.resourcemanager.webapp.methods-allowed=GET,POST,DELETE' 建议:如果您将此属性设置为允许非默认 HTTP 方法,请确保配置防火墙规则和其他安全设置以限制对端口 8088 的访问(请参阅集群 Web 界面→避免安全漏洞)。

release notes 中查看更多详细信息。

【讨论】:

  • 这行得通,感谢您的提示。只有一件事需要注意——使用逗号迭代所有允许的方法的选项似乎与使用逗号分隔所有其他作业提交选项的方式相冲突。似乎是某种解析冲突。为简单起见,没有费心调查并选择 ALL,因为所有端口都已通过 SSH 隧道关闭。
猜你喜欢
  • 2019-03-29
  • 1970-01-01
  • 2020-03-04
  • 1970-01-01
  • 2019-02-26
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多