Spark中减少网络洗牌的技巧

Question

我有这个用例，我在 Spark 中加入两个数据帧，A 和 B。

A -> Huge dataframe approx size: 100 TB
B -> Smaller dataframe approx size: 100 MB

两个问题：

1. 如何减少网络随机播放，因为 spark UI 显示随机读取大约 30gb。
2. 任务的数量也很大，大约 1,000,000。有什么减少它们的小窍门吗？

我曾尝试缓存数据帧A，但令人惊讶的是它只会让工作变慢。 任何帮助将不胜感激。

Answer 1

您可以尝试将 autoBroadcastJoinThreshold 增加到 100MB 以触发地图侧连接，或者如果这没有帮助，则显式广播您的 B（较小的）数据帧：

val result = dfA.join(broadcast(dfB),...

这应该完全消除与加入相关的洗牌。