应如何配置主节点和工作节点以实现可扩展性和高可用性答案

【问题标题】：How should master and worker node be configured for Scalability and High Availability应如何配置主节点和工作节点以实现可扩展性和高可用性
【发布时间】：2021-09-21 01:30:36
【问题描述】：

我正在使用 GCP Dataproc 和 Kubernetes 开发数据工程解决方案。

虽然创建原型很容易，但问题在于 master 和 worker 配置。来自云提供商的示例表明 master 和 worker 的配置相同。

https://cloud.google.com/ai-platform/training/docs/machine-types

AWS 和 Azure 等其他云提供商也是如此。

master 的配置是否可以低于 worker 的配置？例如。主 = n1-highcpu-8 工人 = n1-highcpu-16

【问题讨论】：

您是想在 GKE 上运行 Dataproc（仅限于 Spark 作业），还是需要同时使用其他 Dataproc 功能并想调整标准（非 GKE）Dataproc 集群的大小？
适用于 GKE（仅限于 spark）和非 GKE Dataproc 集群，因为它们具有不同的用例和成本。

标签： google-cloud-platform google-kubernetes-engine google-cloud-dataproc

【解决方案1】：

当您在 GKE 上运行 Dataproc 时，主节点和工作节点的大小实际上并不适用，因为 Kubernetes 成为了资源管理器而不是 YARN。创建 GKE 集群时，有多种策略可用于优化运行 Dataproc 的成本和规模。我建议使用Node Auto-provisioning，因为它会根据部署的工作负载自动添加/删除大小合适的节点。您还可以设置节点的最小和最大大小。我认为最小尺寸应该使用 4 个 CPU 机器类型。

在创建标准 Dataproc 集群时，主节点和工作节点确实可以是不同的类型。有助于确定主节点大小的因素包括工作节点的数量和提交的作业数量。通常，您最终会为主节点和工作节点拥有类似的 CPU 配置，如果您有 500 多个工作节点，您可能希望主节点的内存是工作节点的 2 倍，因为它们的内存要大得多要管理的工作人员足迹。

【讨论】：