在 Azure Databricks 中配置 GC

Question

我正在研究 Azure 数据块。作为性能调整的一部分，Spark 文档中的一项建议是更改 Spark 中的 GC 设置。

知道我可以在 Azure Databricks 中的何处更改此设置吗？

性能调优链接： https://spark.apache.org/docs/latest/tuning.html

Answer 1

在集群配置中设置这些

spark.driver.extraJavaOptions -XX:+G1HeapRegionSize
spark.executor.extraJavaOptions -XX:+G1HeapRegionSize