我的 Dataproc 集群（版本 - 1.4.0-debian9）HA 模式不起作用答案

【问题标题】：My Dataproc cluster (version - 1.4.0-debian9) HA mode not working我的 Dataproc 集群（版本 - 1.4.0-debian9）HA 模式不起作用
【发布时间】：2020-06-10 19:49:31
【问题描述】：

我使用映像 1.4.0-debian9 创建了一个 Dataproc 集群，该集群具有所有必需的 HA 配置，但看起来 Active RM 无法与 Standby RM 同步，因此错过了节点标签详细信息等信息，故障转移时在其上运行的节点等。

虽然我的 Ambari 集群也可以使用相同级别的配置。

非常感谢任何帮助。

【问题讨论】：

请添加用于创建集群的完整命令（包括您设置的所有属性）。另外，在 HA 模式下到底有什么不工作？

标签： hadoop google-cloud-platform hadoop-yarn high-availability google-cloud-dataproc

【解决方案1】：

这是一张使用了将近 1 年的图像，您应该使用最新的 Dataproc 1.4-debian 图像创建集群，而不是硬编码次要图像版本：

CLUSTER_NAME=<cluster_name>
REGION=<region>
gcloud dataproc clusters create $CLUSTER_NAME --image-version=1.4-debian --region=$REGION

【讨论】：

感谢您的回复，伊戈尔。这是 dataproc 1.4.0 版的已知问题吗？从我启动这个集群的那一天起，我就面临这个问题，但它仅用于开发，所以我最初忽略了。
我不确定，但这个问题可能在 1.4.0 发布后的新次要版本中得到修复，即 1.4.22。
我也尝试与支持团队交谈，但他们似乎并不知道这是什么问题，我认为这可能与 dataproc 处理 HA 的方式有关。
所以我刚刚使用 dataproc 映像版本 1.4.22-debian9 启动了一个新集群，但我又遇到了同样的问题。
谢谢，伊戈尔。它现在正在工作。 JournalNode 在 hdfs 中写入节点标签统计信息时出现权限问题。