Spark Structured Streaming Kafka Writer 是否支持将数据写入特定分区？

Question

Spark Structured Streaming 的 Kafka Writer 是否支持将数据写入特定分区？在Spark Structured Streaming Documentation中没有提到不支持将数据写入特定分区。

我也看不到在部分中传递“分区 ID”的选项 “将数据写入 Kafka”

如果不支持，任何未来的支持计划或不支持的原因。

Answer 1

键确定要写入哪个分区 - 不，您不能在 Spark 的写入方法中硬编码分区值。

Spark 确实允许您配置 kafka.partitioner.class，不过，这将允许您根据数据的键定义分区号

Kafka自己的配置可以通过DataStreamReader.option设置kafka.前缀，例如stream.option("kafka.bootstrap.servers", "host:port")。有关可能的 kafka 参数，请参阅 ...Kafka producer config 文档以获取与写入数据相关的参数。