属性 max.poll.records 的来源是什么？

Question

我正在使用带有 Spark 流的 Kafka。我没有覆盖默认值500 的max.poll.records。但是，在运行我的 Spark 作业时，我会在日志中找到：

max.poll.records = 2147483647

我的所有作业都显示相同的值，即使它们有不同的批处理间隔。

那么这个值的来源是什么？

• Kafka 服务器版本：0.10.0

• 应用程序版本的 Kafka spark 集成：“org.apache.spark” %% "spark-streaming-kafka-0-10" % 2.1.1

• Spark 应用程序版本：2.2.0

• Spark 服务器版本：2.1.1

我有 10 个重新分区的主题。

谢谢。

Answer 1

max.poll.records 的默认值是2147483647 in Kafka 0.10.0，它已更改为500 in Kafka 0.10.1。

Notable changes in 0.10.1.0

(...) 并且 max.poll.records 的默认值已更改为 500。