Kafka 分区如何在 Spark 流中与 Kafka 共享？答案

【问题标题】：How Kafka partitions are shared in Spark streaming with Kafka?Kafka 分区如何在 Spark 流中与 Kafka 共享？
【发布时间】：2018-10-28 12:13:06
【问题描述】：

我想知道 Kafka 分区如何在执行程序进程内部运行的 SimpleConsumer 之间共享。我知道高级 Kafka 消费者如何在消费者组中的不同消费者之间共享分区。但是当 Spark 使用 Simple consumer 时会发生这种情况吗？跨机器的流式作业将有多个执行器。

【问题讨论】：

【解决方案1】：

所有 Spark 执行器也应该属于同一个使用者组。 Spark 为 Kafka 消费者使用大致相同的 Java API，只是调度将其分发到多台机器上

【讨论】：