使用 Spark 2 和 Kafka 2.1 进行 Spark Streaming

Question

我正在将一个 Java 项目从 Cloudera 5.10 升级到 Cloudera 6.2。我们让 Spark Streaming 从 Kafka 读取数据进行处理并将结果写入其他地方。在升级过程中，Spark 从 v1.6 升级到 v2.1，Kafka 从 v0.8 升级到 v2.1。

为了执行流处理，我们使用 KafkaUtils.createStream(...) 连接到 Kafka，但 KafkaUtils 在 Kafka 2.11 中不再可用。但是，我似乎找不到任何在 Java 中不使用此方法的 Spark Streaming + Kafka 示例或文档。

我有什么遗漏吗？在这些版本中连接两个世界的最佳方式是什么？

Answer 1

模块重命名为spark-streaming-kafka-0-10

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10

但是，您应该考虑改用结构化流。