在 Spark 中拆分之前或之后缓存 RDD？

Question

我正在一个相当大的 RDD rdd 上训练一个 org.apache.spark.mllib.recommendation.ALS 模型。我想选择一个像样的正则化超参数，这样我的模型就不会过度（或不足）拟合。为此，我将rdd（使用randomSplit）拆分为一个训练集和一个测试集，并使用一组定义的超参数对它们执行交叉验证。

由于我在交叉验证中多次使用训练和测试 RDD，因此在某些时候cache() 数据似乎很自然，以加快计算速度。但是，我的 Spark 知识非常有限，我想知道这两个选项中哪个更好（以及为什么）：

1. 在拆分前缓存初始RDDrdd，即：

   val train_proportion = 0.75
   val seed = 42
   rdd.cache()
   val split = rdd.randomSplit(Array(train_proportion, 1 - train_proportion), seed)
   val train_set = split(0)
   val test_set = split(1)
   

2. 在拆分初始RDD后缓存train和test RDD：

   val train_proportion = 0.75
   val seed = 42
   val split = rdd.randomSplit(Array(train_proportion, 1 - train_proportion), seed)
   val train_set = split(0).cache()
   val test_set = split(1).cache()
   

我的猜测是选项 1 更好，因为 randomSplit 也将受益于 rdd 被缓存的事实，但我不确定它是否会对（多次）未来对 train_set 的访问产生负面影响和 test_set 关于选项 2。 This answer 似乎证实了我的直觉，但它没有收到任何反馈，所以我想在这里询问一下。

你怎么看？更重要的是：为什么？

请注意，我在 Spark 集群上进行了实验，但是这几天经常很忙，所以我的结论可能是错误的。我还检查了 Spark 文档，但没有找到我的问题的答案。

Answer 1

如果 RDD 上的计算是在拆分之前进行的，那么最好先缓存它，因为（根据我的经验）所有转换将只运行一次并由缓存触发（ ) 行动。
我想 split() cache() cache() 是 3 个动作 vs cache() split() 2. 编辑：缓存不是一个动作。 事实上，我在其他 similar questions around the web
中找到了确认 编辑：澄清我的第一句话：DAG 将在 RDD 上执行所有转换，然后将其缓存，因此之后对它所做的所有事情都不需要更多计算，尽管将再次计算拆分的部分。
总之，如果您在拆分部分上操作比原始 RDD 本身更重的转换，您可能希望缓存它们。 （希望有人支持我）