如何在执行者之间平均分配数据

【问题标题】：How to distribute data evenly among executers如何在执行者之间平均分配数据
【发布时间】：2015-12-31 10:22:49
【问题描述】：

我使用来自 dfs 的 read.parquet() 从 parquet 文件中读取数据帧并将其缓存。但是，我如何在执行者之间平均分配。

我使用 Cloudera 集群，如果有帮助就添加。

【问题讨论】：

【解决方案1】：

从 Parquet RDD 中收集数据并使用广播变量使其可在执行程序中访问。

RDD.collect()

【讨论】：