Spark：将广播变量传递给执行程序

Question

我正在使用以下代码将广播变量传递给我的所有执行程序。该代码似乎有效，但我不知道我的方法是否足够好。只是想看看有没有人有更好的建议。非常感谢！

val myRddMap = sc.textFile("input.txt").map(t => myParser.parse(t))
val myHashMapBroadcastVar = sparkContext.broadcast(myRddMap.collect().toMap)

其中myRddMap 的类型为org.apache.spark.rdd.RDD[(String, (String, String))]

然后我有一个实用函数，我传递 RDD 和变量，例如：

val myOutput = myUtiltityFunction.process(myRDD1, myHashMapBroadcastVar)

---

那么上面的代码是处理广播变量的好方法吗？或者有没有更好的方法？谢谢！

Answer 1

广播变量允许程序员在每台机器上缓存一个只读变量，而不是随任务一起发送它的副本。

广播变量实际上被发送到所有节点。因此，您在实用程序功能或任何地方使用它们都没有关系。至于我认为你在做正确的事，似乎没有什么错误导致表现不佳。