【发布时间】：2016-11-11 16:18:53
【问题描述】：
我的问题是“Spark RDD 中的容错是自动发生的还是我们需要在丢失的分区上重放转换？”
【问题讨论】：
标签： apache-spark rdd
【发布时间】：2016-11-11 16:18:53
【问题描述】：
Spark 会自动重新计算丢失的分区。
【讨论】：
-
谢谢西蒙。但是我在一些博客中读到，如果我们丢失了 RDD 的任何分区，我们需要在该分区上重放转换。对吗？
-
当您在具有 8 个节点的集群上运行代码时。然后你的RDD被分发。现在，您可能会丢失一个节点。该节点上的 RDD 分区丢失。开发人员不必处理这种情况。 Spark 将自动重新计算（重放）不同节点上丢失的分区。但是您的输入数据应该在所有节点上都可用，在 hdfs 中复制或在具有 nfs 的主节点上可用。