如何将一个分区持久化到 Spark 中的特定执行程序？答案

【问题标题】：How to persist one partition to specific executor in Spark?如何将一个分区持久化到 Spark 中的特定执行程序？
【发布时间】：2017-02-07 05:19:28
【问题描述】：

有两个不同的RDD，我想对这两个rdd进行zipPartition，在此之前，我希望两个RDD中相同id的partition可以持久化在同一个executor中，这样zipPartition时就不会出现shuffle。

【问题讨论】：

【解决方案1】：

您必须将您的 RDD 包装在一个实现此方法的新 RDD 中：

def getPreferredLocations(split: Partition): Seq[String]

上述方法告诉调度程序——应该计算给定分区的首选位置。

[我在对 2 个 RDD 进行 Hashjoin 时遇到了类似的问题，并在博客上对此进行了讨论。你可能想看看here。]

【讨论】：

谢谢，不过好像要提前知道每台机器的ip，有没有办法指定每个partition的executor id？
对，SparkContext 中有一个方法可以获取 executorsIds，但它是 Spark 本地的。所以除了这点小技巧，我真的没有办法。
@SachinTyagi spark.apache.org/docs/2.0.0/api/java/org/apache/spark/… 怎么样？它是否提供 100% 保证分区将被放置到特定节点？
@SachinTyagi 你能看看stackoverflow.com/questions/42568569/…吗？