Spark-Scala加载类文件时依赖无效

Question

加载类文件“SQLImplicits.class”时检测到类型缺失或无效的依赖项。无法访问包 org.apache.spark.sql 中的类型编码器，因为它（或其依赖项）丢失。检查您的构建定义是否存在缺失或冲突的依赖项。 （使用-Ylog-classpath 重新运行以查看有问题的类路径。）如果“SQLImplicits.class”是针对不兼容的 org.apache.spark.sql 版本编译的，则完全重建可能会有所帮助。 SparkScala 未知的 Scala 问题。

---

描述资源路径位置类型 加载类文件“package.class”时检测到缺少或无效的依赖项。无法访问包 org.apache.spark.sql 中的类型 Row，因为它（或其依赖项）丢失。检查您的构建定义是否存在缺失或冲突的依赖项。 （使用-Ylog-classpath 重新运行以查看有问题的类路径。）如果“package.class”是针对不兼容的 org.apache.spark.sql 版本编译的，则完全重建可能会有所帮助。 SparkScala 未知的 Scala 问题

我是这个世界的新手。任何帮助将不胜感激！ 我已经安装了 2.11 版本的 spark 和 scala。

Answer 1

这是由于 org.apache.spark.sql 版本与 org.apache.spark 核心不匹配造成的。确保两者具有相同的版本。

我希望这能解决问题。