Spark *Structured* Streaming 中的 RecordTooLargeException答案

【问题标题】：RecordTooLargeException in Spark *Structured* StreamingSpark *Structured* Streaming 中的 RecordTooLargeException
【发布时间】：2020-09-12 14:38:27
【问题描述】：

我不断收到此错误消息：

The message is 1169350 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

正如其他 StackOverflow 帖子中所述，我正在尝试在 Producer 中设置“max.request.size”配置，如下所示：

.writeStream
.format("kafka")
.option(
  "kafka.bootstrap.servers",
  conig.outputBootstrapServer
)
.option(ProducerConfig.MAX_REQUEST_SIZE_CONFIG, "10000000")

但这不起作用。我设置正确吗？在 Spark Structured Streaming 下是否有其他方法来设置此属性？

【问题讨论】：

标签： apache-spark apache-kafka spark-streaming spark-structured-streaming spark-streaming-kafka

【解决方案1】：

如果我记得，您必须在所有 kafka 属性前加上“kafka.”。你能试试这个吗？

.option(s"kafka.${ProducerConfig.MAX_REQUEST_SIZE_CONFIG}", "10000000")

【讨论】：