【问题标题】:Refreshing Spark Properties on a Running Streaming job刷新正在运行的流式处理作业的 Spark 属性
【发布时间】:2016-10-13 07:00:03
【问题描述】:

我想更新当前正在运行的火花流作业的火花属性。

我在程序中设置了 SparkConf 的一些属性,并在 spark-defaults.conf 设置了一些属性。

我如何更新它们以便我当前运行的作业能够选择它们?

这样可以吗?

【问题讨论】:

    标签: apache-spark spark-streaming


    【解决方案1】:

    通常在运行时无法刷新配置。只有某些 SQL 选项可以在活动上下文中更改。

    否则:

    • 修改配置
    • 重启应用

    【讨论】:

      猜你喜欢
      • 2017-03-29
      • 1970-01-01
      • 1970-01-01
      • 2016-10-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-03-31
      • 2021-08-15
      相关资源
      最近更新 更多