【发布时间】:2016-10-13 07:00:03
【问题描述】:
我想更新当前正在运行的火花流作业的火花属性。
我在程序中设置了 SparkConf 的一些属性,并在 spark-defaults.conf 设置了一些属性。
我如何更新它们以便我当前运行的作业能够选择它们?
这样可以吗?
【问题讨论】:
标签: apache-spark spark-streaming
我想更新当前正在运行的火花流作业的火花属性。
我在程序中设置了 SparkConf 的一些属性,并在 spark-defaults.conf 设置了一些属性。
我如何更新它们以便我当前运行的作业能够选择它们?
这样可以吗?
【问题讨论】:
标签: apache-spark spark-streaming
通常在运行时无法刷新配置。只有某些 SQL 选项可以在活动上下文中更改。
否则:
【讨论】: