我在 Spark 驱动程序中有一个模块正在侦听 Kafka 队列，并且根据队列的内容，我需要修改广播变量（或闭包）的内容。在此示例中，这可能是一个字符串。
例如，如果字符串“change”到达队列，我需要更新每个节点中的广播变量。
我希望看到一种干净且高效的模式来执行此操作，或者至少接收关于我可以在哪里找到一些材料以更好地了解如何在 Spark 集群中传播修改的输入。
【问题讨论】：
标签： scala apache-spark spark-streaming
广播变量确实是使用点对点协议将变量或整个闭包传播到 spark 集群。
广播变量是 只是 spark.broadcast.Broadcast[T] 类型的对象，它包装了一个值 类型 T。我们可以通过在我们的广播对象上调用 value 来访问这个值 任务。该值仅发送到每个节点一次，使用高效的类似 BitTorrent 沟通机制。
影响性能的是您正在使用的序列化方法（例如：Kryo、自定义方法...）：
书中有一个例子：
示例 6-8。在 Scala 中使用广播值查找国家/地区
// Look up the countries for each call sign for the
// contactCounts RDD. We load an array of call sign
// prefixes to country code to support this lookup.
val signPrefixes = sc.broadcast(loadCallSignTable())
val countryContactCounts = contactCounts.map {
case (sign, count) =>
val country = lookupInArray(sign, signPrefixes.value) (country, count)
}.reduceByKey((x, y) => x + y)
countryContactCounts.saveAsTextFile(outputDir + "/countries.txt")
如这些示例所示，使用广播变量的过程很简单： 1. 通过在类型对象上调用 SparkContext.broadcast 创建一个 Broadcast[T] T. 只要它也是可序列化的，任何类型都可以工作。 2. 使用 value 属性（或 Java 中的 value() 方法）访问其值。 3. 变量只会被发送到每个节点一次，并且应该被视为读取- 仅（更新不会传播到其他节点）。
【讨论】：
collect()（或类似的）才能将其带给司机，这可能是也可能不是和选项。