【发布时间】：2015-12-17 01:09:20
【问题描述】：
我试图了解广播HashJoin 是如何执行的。 我知道小表正在向所有节点发送广播，但是接下来将结果发送回驱动程序？ 我正在使用 spark ui 来了解网络流量的管理方式，但我没有得到相关结果，并且驱动程序结果始终为空： 为什么我看不到司机的路况？
【问题讨论】：
标签： join apache-spark
【发布时间】：2015-12-17 01:09:20
【问题描述】：
- 要向驱动程序广播is collected 的关系
- 在本地收集关系is hashed
- 散列关系用于create a broadcast variable
- Broadcasted relation is used 并行计算连接
您看到的驱动程序中缺少的数据很可能对应于 is not executed inside job 的散列部分，并且不会创建有用的指标。
【讨论】：