导入 org.apache.spark.streaming.kafka._ 无法解析符号 kafka答案

【问题标题】：import org.apache.spark.streaming.kafka._ Cannot resolve symbol kafka导入 org.apache.spark.streaming.kafka._ 无法解析符号 kafka
【发布时间】：2021-01-13 01:56:33
【问题描述】：

我创建了一个 spark 应用程序来与 kafka 集成并从 kafka 获取数据流。

但是，当我尝试导入 import org.apache.spark.streaming.kafka._ 时出现 Cannot resolve symbol kafka 的错误，所以我应该怎么做导入这个库

【问题讨论】：

标签： apache-spark apache-kafka spark-streaming-kafka

【解决方案1】：

根据您的 Spark 和 Scala 版本，您需要将 spark-kafka 集成库包含到您的依赖项中。

Spark 结构化流媒体

如果您计划使用 Spark Structured Streaming，您需要按照here 的描述将以下内容添加到您的依赖项中：

对于使用 SBT/Maven 项目定义的 Scala/Java 应用程序，请将您的应用程序与以下工件链接：

groupId = org.apache.spark
artifactId = spark-sql-kafka-0-10_2.12
version = 3.0.1

请注意，要使用标头功能，您的 Kafka 客户端版本应为 0.11.0.0 或更高版本。对于 Python 应用程序，您需要在部署应用程序时添加上述库及其依赖项。请参阅下面的部署小节。为了在 spark-shell 上进行试验，您需要在调用 spark-shell 时添加上面的库及其依赖项。另请参阅下面的部署小节。

Spark 流媒体

如果您打算使用 Spark Streaming（直接 API），您可以遵循here 给出的指导：

对于使用 SBT/Maven 项目定义的 Scala/Java 应用程序，请将您的流应用程序与以下工件链接（请参阅主编程指南中的链接部分了解更多信息）。

groupId = org.apache.spark
artifactId = spark-streaming-kafka-0-10_2.12
version = 3.0.1

【讨论】：