【发布时间】：2019-12-26 22:32:05
【问题描述】：
我对 GCP 完全陌生。是用户必须管理为驱动程序和工作程序分配的内存量以及在 Dataproc 集群中运行 Spark 作业的 CPU 数量吗？如果是，Dataproc 使用的弹性有哪些方面？
谢谢。
【问题讨论】：
标签： apache-spark memory google-cloud-platform cpu google-cloud-dataproc
【发布时间】：2019-12-26 22:32:05
【问题描述】：
通常不需要，Dataproc 集群的资源由 YARN 管理，Spark 作业会自动配置为使用它们。特别是，Spark dynamic allocation 默认启用。但是您的应用程序代码仍然很重要，例如，您需要指定适当的分区数。
【讨论】：