Spark + Kafka 集成错误。 NoClassDefFoundError：org/apache/spark/sql/internal/connector/SimpleTableProvider答案

【问题标题】：Spark + Kafka Integration error. NoClassDefFoundError: org/apache/spark/sql/internal/connector/SimpleTableProviderSpark + Kafka 集成错误。 NoClassDefFoundError：org/apache/spark/sql/internal/connector/SimpleTableProvider
【发布时间】：2020-10-14 21:04:03
【问题描述】：

我正在使用 Kafka 2.5.0 和 Spark 3.0.0。我正在尝试将一些数据从 kafka 导入到 spark 中。以下代码 sn-p 给了我一个错误：

spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("subscribe", "topic1").load()

我得到的错误说

java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/connector/SimpleTableProvider

【问题讨论】：

您可以尝试运行 --verbose 选项并分享完整的日志。或 spark-submit 命令也可以？

标签： scala apache-spark apache-kafka

【解决方案1】：

这个错误主要是spark-kafka依赖冲突造成的。

如果还没有，您可以在 maven 存储库中查看支持的 scala 版本。

如果错误仍然发生，那么您可以分享更多详细信息，例如 groupId、artifactId 以及版本。

【讨论】：