【问题标题】:Jvm settings for Azure databricksAzure 数据块的 Jvm 设置
【发布时间】:2020-06-03 08:32:21
【问题描述】:

作为性能的一部分,spark 文档中的一个建议是将指针设为 4 个字节而不是 8 个字节,如图所示。

我正在研究 Azure 数据块。现在我在哪里添加这个配置?

我尝试在spark config下添加集群的高级选项,参数如下:

jvm -XX:+UseCompressedOops 

我要在正确的位置添加此配置吗?如果没有,我应该在哪里添加?

编辑: 文档链接 https://spark.apache.org/docs/latest/tuning.html

【问题讨论】:

  • 能否分享您所指的文档的链接?
  • 添加文档链接
  • 感谢分享文档链接。

标签: apache-spark databricks azure-databricks


【解决方案1】:

编辑 Databricks 集群。转到下面的Advanced 选项,然后转到Environment variables。在那里添加:

JAVA_OPTS="$JAVA_OPTS -XX:+UseCompressedOops"

请注意,当您开始创建一个全新的集群时,有一些示例。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-04-20
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-06-21
    • 2015-07-24
    相关资源
    最近更新 更多