spark流kafka的必要版本是什么？

Question

我正在使用 spark-core_2.10-2.0.2 和 kafka_2.10-0.10.0.1。我想使用 spark-streaming-kafka。

我应该使用什么版本的spark-streaming-kafka？

Answer 1

当您使用 kafka 0.10.x 时，您的 build.sbt 将包含类似的内容：

libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-10_2.11" % "2.0.0"

spark-kafka-connector 的支持信息为 here。集成信息为here。