在执行期间更改 Spark Streaming 中的批处理大小答案

【问题标题】：Changing batch size in Spark Streaming during the execution在执行期间更改 Spark Streaming 中的批处理大小
【发布时间】：2015-04-12 08:32:34
【问题描述】：

有没有办法改变 Spark Streaming 中的批处理间隔持续时间（即，取决于代码中的某些测试），以便它不会在所有计算时间内保持不变？

例如，在 Python 中编码时，批处理间隔持续时间是

中的第二个参数

StreamingContext(sparkContext: SparkContext, batchDuration: Duration);

例如，ssc = StreamingContext(sc, 1)，

据我所知，在执行期间它不会改变。

Spark 是否有可能在计算期间使其可变，即根据某些测试的输出？

一个可能使用的愚蠢示例：在classnewtork_wordcount.py 中，在前一个批处理间隔中的特定字符串（或行）的情况下增加批处理间隔持续时间。

我希望我已经足够清楚了！

感谢任何愿意提供帮助的人！祝你今天过得愉快！ :-)

【问题讨论】：

【解决方案1】：

我认为你不能改变 Spark Streaming 中的批量大小，至少 Tathagata Das 在他的一次演讲中是这么说的。

【讨论】：

【解决方案2】：

实际上，TD 的paper 可能会回答您的问题。他尝试使用动态批处理间隔并获得更好的结果。

【讨论】：