spark-streaming-kafka-0-8 与 spark-streaming-kafka-0-10答案

【问题标题】：spark-streaming-kafka-0-8 vs spark-streaming-kafka-0-10spark-streaming-kafka-0-8 与 spark-streaming-kafka-0-10
【发布时间】：2019-08-08 00:08:58
【问题描述】：

我是大数据领域的新手，我需要制作一个演示，使用 spark 流从 Kafka 主题流式传输数据，然后进行一些聚合和过滤，然后保存这些数据。我正在使用 spark 2.3 我需要知道 Kafka 必须使用 spark-2.3 文档中的 0.8 或 10 的哪个版本 ->

https://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html 提及

0.8 已弃用，10 稳定但在流式卡夫卡-0-10-集成中->

https://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html

提到 0.8 是稳定的，10 是实验性的，我使用的是 Kafka 2.1。

所以我必须使用其中的哪一个

【问题讨论】：

标签： apache-spark apache-kafka spark-streaming jave

【解决方案1】：

0.8 版本稳定，但 kafka 不为此 version 提供技术支持。我认为，您应该继续使用最新版本。

【讨论】：

我也无法在生产阶段评估版本 10，所有进入版本 0.8 的方法都有实验性注释。

【解决方案2】：

我正在使用 Kafka 2.1。

那么您应该使用 Spark 的 0.10 Kafka API，主要是因为拥有新的 Consumer API，如该页面所述。

如果您升级到 Spark 2.4，同一个库会升级为使用 Kafka 2.0 库，但名称仍为 0.10 - SPARK-18057

【讨论】：