用于 Spark Streaming 的 Kafka 连接器版本答案

【问题标题】：Version of Kafka Connector For Use in Spark Streaming用于 Spark Streaming 的 Kafka 连接器版本
【发布时间】：2019-02-19 22:08:48
【问题描述】：

可供下载的最新版 Kafka 是 Kafka 2.1.0。但是为了在 Spark Streaming 或 Spark Structured Streaming 中使用 Kafka，我们分别使用以下连接器：

spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11

我的问题是，连接器似乎适用于 Kafka 版本 0.10.0.0，因为连接器的名称包括 0-10。这里有什么我不明白的地方，还是我们真的在使用适用于更旧版本 Kafka 的连接器？

【问题讨论】：

【解决方案1】：

对于 Spark Structure Streaming 2.4，使用 Kafka Client 2.0。

0-10表示兼容0.10或以上版本的Kafka Brokers。

【讨论】：