DStream 为一个批处理间隔生成多少个 RDD？

【问题标题】：How many RDDs does DStream generate for a batch interval?DStream 为一个批处理间隔生成多少个 RDD？
【发布时间】：2016-05-11 22:00:41
【问题描述】：

无论数据量有多大，一批间隔的数据是否在DStream中生成一个且只有一个 RDD？

【问题讨论】：

【解决方案1】：

是的，每个批次间隔恰好有一个 RDD，在每个批次间隔生成，与记录数无关（包含在 RDD 中 - 内部可能有零个记录）。

如果没有，并且 RDD 创建取决于元素的数量，您将不会有同步（微批处理）流，而是一种异步处理形式。

【讨论】：

【解决方案2】：

DStream 中的每个 RDD 都包含某个区间的数据

【讨论】：

【解决方案3】：

回复这个帖子已经很晚了。但是，仍然值得多加几分。 RDD 的数量取决于您的应用程序中有多少个接收器。这就是为什么“sparkContext.read”会有多个 RDD。但是，如果您只有一个接收器或 Kafka 作为源（无接收器），那么在这种情况下，您将只获得一个 RDD。

【讨论】：