spark.streaming.backpressure.* 属性是否适用于 Spark 结构化流？答案

【问题标题】：Are spark.streaming.backpressure.* properties applicable to Spark Structured Streaming?spark.streaming.backpressure.* 属性是否适用于 Spark 结构化流？
【发布时间】：2019-02-07 22:53:39
【问题描述】：

我的理解是 Spark 结构化流是构建在 Spark SQL 之上的，而不是 Spark Streaming。因此，以下问题是否适用于 spark 流式传输的属性也适用于 spark 结构化流式传输，例如：

spark.streaming.backpressure.initialRate spark.streaming.backpressure.enabled spark.streaming.receiver.maxRate

【问题讨论】：

标签： scala apache-spark spark-streaming spark-structured-streaming

【解决方案1】：

不，这些设置仅适用于 DStream API。 Spark Structured Streaming 没有背压机制。您可以在此讨论中找到更多详细信息：How Spark Structured Streaming handles backpressure?

【讨论】：

【解决方案2】：

没有。

默认情况下，Spark Structured Stream 会在完成当前批次后尽快处理数据。您可以通过各种类型的处理速率进行控制，例如maxFilesPerTrigger 用于文件，maxOffsetsPerTrigger 用于 KAFKA。

此链接http://javaagile.blogspot.com/2019/03/everything-you-needed-to-know-about.html 说明背压无关紧要。

它引用：“结构化流不能做真正的背压，因为，例如，Spark 不能告诉其他应用程序减慢将数据推送到 Kafka 的速度。”。
- 我不确定这方面是否相关，因为 KAFKA 会缓冲数据。尽管如此，这篇文章还是有很好的价值。

【讨论】：