为什么不能从 Scala 2.11 的源代码构建 Datastax Spark Cassandra 连接器 2.0？

Question

我正在尝试从源代码构建 Datastax Spark-Cassandra 连接器 2.0，用于 Scala 2.11。计划将它与 Spark 2.0 一起使用。克隆了这个 repo (master): https://github.com/datastax/spark-cassandra-connector

使用这个命令：

sbt -Dscala-2.11=true package

我收到了与一些未找到的 jar 相关的错误（为什么未找到？一些异国情调的东西？）：

[错误] 13 未找到 [错误]
/Users/dochnev/.m2/repository/com/googlecode/json-simple/json-simple/1.1/json-simple-1.1.jar [错误]
/Users/dochnev/.m2/repository/com/typesafe/config/1.2.1/config-1.2.1.jar [错误]
/Users/dochnev/.m2/repository/com/yammer/metrics/metrics-core/2.2.0/metrics-core-2.2.0.jar [错误]
/Users/dochnev/.m2/repository/commons-net/commons-net/3.1/commons-net-3.1.jar [错误]
/Users/dochnev/.m2/repository/junit/junit/4.8.1/junit-4.8.1.jar [错误]
/Users/dochnev/.m2/repository/org/apache/curator/curator-client/2.4.0/curator-client-2.4.0.jar [错误]
/Users/dochnev/.m2/repository/org/apache/curator/curator-framework/2.4.0/curator-framework-2.4.0.jar [错误]
/Users/dochnev/.m2/repository/org/apache/hadoop/hadoop-yarn-server-nodemanager/2.2.0/hadoop-yarn-server-nodemanager-2.2.0.jar [错误]
/Users/dochnev/.m2/repository/org/apache/zookeeper/zookeeper/3.4.6/zookeeper-3.4.6.jar [错误]
/Users/dochnev/.m2/repository/org/codehaus/janino/commons-compiler/2.7.8/commons-compiler-2.7.8.jar [错误]
/Users/dochnev/.m2/repository/org/hibernate/hibernate-validator/4.3.0.Final/hibernate-validator-4.3.0.Final.jar [错误]
/Users/dochnev/.m2/repository/org/jboss/logging/jboss-logging/3.1.0.CR2/jboss-logging-3.1.0.CR2.jar [错误]
/Users/dochnev/.m2/repository/org/yaml/snakeyaml/1.12/snakeyaml-1.12.jar

是否可以修复它并为 Scala 2.11 构建 Spark-Cassandra 连接器 2.0？

Answer 1

删除~/.m2/repository/，构建成功完成。

Answer 2

如果您的唯一目标是使用 spark-cassandra-connector，为什么还要费心从源头构建它？为什么不对 Spark 2.0.0 / Scala 2.11 使用 --packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.11 而忘记构建问题？

由于缺少一些 jar，它也有一段时间没有为我构建，我将它报告给 https://datastax-oss.atlassian.net/projects/SPARKC/summary 并通过 Gitter 与开发人员交谈。在我的情况下，解决方案是清理有关失败依赖项的~/.ivy2 repo，它工作正常（我只删除了失败依赖项的目录而不是整个 repo）。

我正在使用以下命令来构建连接器：

sbt -Dscala-2.11=true assembly

我每天早上都这样做，大约需要 2 分钟。

Answer 3

--packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.11 就像一个魅力。但是， --packages datastax:spark-cassandra-connector:2.0.0-M3-s_2.11 仍然会抛出无法解决的异常。