【问题标题】:sbt.librarymanagement.ResolveException: Error downloading org.apache.spark:spark-core:3.0.1sbt.librarymanagement.ResolveException:下载 org.apache.spark 时出错:spark-core:3.0.1
【发布时间】:2021-11-09 15:55:50
【问题描述】:

面临以下问题:

提取结构失败,原因:结构文件为空栈 痕迹被抑制;为完整的输出堆栈跟踪运行“上次更新” 被压制;运行'last ssExtractDependencies'以获得完整输出 (更新) sbt.librarymanagement.ResolveException: 下载错误 org.apache.spark:spark-core:3.0.1 未找到 未找到 未找到: C:\Users\admin.ivy2\localorg.apache.spark\spark-core\3.0.1\ivys\ivy.xml 未找到: https://repo1.maven.org/maven2/org/apache/spark/spark-core/3.0.1/spark-core-3.0.1.pom (ssExtractDependencies) sbt.librarymanagement.ResolveException: 错误 正在下载 org.apache.spark:spark-core:3.0.1 未找到 未找到 未找到 成立: C:\Users\admin.ivy2\localorg.apache.spark\spark-core\3.0.1\ivys\ivy.xml 未找到: https://repo1.maven.org/maven2/org/apache/spark/spark-core/3.0.1/spark-core-3.0.1.pom 总时间:2 秒,2021 年 9 月 14 日下午 6:16:34 完成

spark 版本:3.0.1

buid.sbt 文件

name := "OCH_SCALA"

version := "0.3"
scalaVersion := "2.13.6"

libraryDependencies += "org.apache.spark" % "spark-core" % "3.0.1"

libraryDependencies += "org.apache.spark" %"spark-sql" % "3.0.1" % provided"

【问题讨论】:

  • 将scala版本改为2.12.0

标签: scala apache-spark


【解决方案1】:

您的构建定义中有两个问题:

  1. 您应该使用%% 语法,以便在查找依赖项时自动使用 Scala 版本

  2. 使用 Scala 2.12,Spark 尚不适用于 Scala 2.13+。

即:

scalaVersion := "2.12.13"

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.0.1"

libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.0.1" % Provided

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-03-15
    • 2015-04-15
    • 2021-02-15
    • 1970-01-01
    • 2021-06-09
    • 1970-01-01
    • 2018-08-04
    • 2016-03-18
    相关资源
    最近更新 更多