可以将火花流 1.5.1 与 kafka 0.10.0 一起使用吗？答案

【问题标题】：Can use spark streaming 1.5.1 with kafka 0.10.0?可以将火花流 1.5.1 与 kafka 0.10.0 一起使用吗？
【发布时间】：2017-07-14 18:08:39
【问题描述】：

我可以将火花流 1.5.1 与 kafka 0.10.0 一起使用吗？网站 spark.apache.org 建议 spark 流应该与 kafka 0.8.2 一起使用；

我只是想知道如果我使用 kafka 0.10.0 和 spark 1.5.1 会怎样？

有人可以帮忙吗。

【问题讨论】：

【解决方案1】：

我认为这是可能的，但有一些限制。例如，Apache spark 1.5.x 不支持在 kerberized 环境中流式传输等功能。

【讨论】：

【解决方案2】：

此 API spark-streaming-kafka-0-10 仍处于实验状态。你可以使用这个。但是您可能会得到一些惊喜，因为它尚未稳定。请点击以下链接：

这是用于 Spark 1.x Streaming 的 Kafka 0.10 连接器。希望它会奏效。

【讨论】：