如何通过 Spark 控制 RDD 的隐式缓存？

Question

作为 Spark 的新手，我一直在查看他们的 python example for estimation of PI。

我有兴趣通过在同一上下文中多次重新估计 PI 来了解 Spark 的性能。

我观察到，在这些重新估计中，PI 的值没有变化，性能时序似乎表明中间 RDD 被隐式缓存，然后在后续计算中重复使用。

有没有办法配置 Spark 来控制这种行为，并且中间 RDD 总是重新生成？使用 unpersist() 似乎没有效果。

我产生这个问题的代码是github上的here，通过调用来执行

`spark-submit pi2.py` 

得到以下结果：

No caching-0: 8000 generated 6256 in 1.14984297752 secs (PI = 3.128)
No caching-1: 8000 generated 6256 in 0.0597329139709 secs (PI = 3.128)
No caching-2: 8000 generated 6256 in 0.0577840805054 secs (PI = 3.128)
No caching-3: 8000 generated 6256 in 0.0545349121094 secs (PI = 3.128)
No caching-4: 8000 generated 6256 in 0.0544559955597 secs (PI = 3.128)
With caching-0: 8000 generated 6256 in 0.069139957428 secs (PI = 3.128)
With caching-1: 8000 generated 6256 in 0.0549170970917 secs (PI = 3.128)
With caching-2: 8000 generated 6256 in 0.0531771183014 secs (PI = 3.128)
With caching-3: 8000 generated 6256 in 0.0502359867096 secs (PI = 3.128)
With caching-4: 8000 generated 6256 in 0.0557379722595 secs (PI = 3.128)`

Answer 1

这里发生了一些事情。首先，您实际上并没有缓存 RDD。从您的 Github 链接：

# Now persist the intermediate result
sc.parallelize(xrange(1, n + 1), partitions).map(f).persist()

这会创建一个新的 RDD，做一个映射，然后持久化生成的 RDD。你没有保留对它的引用，所以它现在实际上已经消失了。

接下来，第一次运行可能会更慢，因为 Spark 会将您的函数广播给您的工作人员。所以有一些缓存在起作用，但不是为了数据，而是为了你的代码。

最后，随机性：seed() 在驱动程序中植入 RNG。种子值在第一次运行时与f() 一起广播给所有工作人员（因为在random() 中引用了种子）。当您现在再次调用 seed() 时，它会更改驱动程序中的种子，但不会更改已发送给工作人员的函数版本，因此您会一遍又一遍地得到相同的结果。