如何在 Spark Streaming 中启用背压（使用 pyspark）答案

【问题标题】：How to enable backpressure in Spark Streaming (using pyspark)如何在 Spark Streaming 中启用背压（使用 pyspark）
【发布时间】：2018-10-23 14:26:02
【问题描述】：

我想知道在spark streaming 到pyspark 中启用backpressure 的正确方法是什么。看起来我在短时间内从Kafka 发送了太多消息并爆炸。下面是我的spark streaming 代码。谁能指出我启用back pressure的正确位置？

sc = SparkContext(appName="PythonStreamingDirectKafka")
ssc = StreamingContext(sc, 5)
ssc.checkpoint("/spark_check/")
kvs = KafkaUtils.createDirectStream(ssc, [kafka_topic],
                                    {"metadata.broker.list": bootstrap_servers_ipaddress})
parsed_msg = kvs.map(lambda (key, value): json.loads(value))
## do something below

【问题讨论】：

标签： apache-spark pyspark apache-kafka spark-streaming

【解决方案1】：

这是我在我的 kafka 流代码中设置背压的方法。希望对您有所帮助。

from pyspark import SparkContext, SparkConf

conf = SparkConf().setAppName("PythonStreamingDirectKafka")\
        .set("spark.streaming.backpressure.enabled", "true") \
        .set("spark.streaming.backpressure.initialRate", "500")

sc = SparkContext(conf=conf)

【讨论】：