通过火花包使用苏打水：com.google.guava... 未找到答案

【问题标题】：use sparkling-water via spark packages: com.google.guava... not found通过火花包使用苏打水：com.google.guava... 未找到
【发布时间】：2017-07-06 10:12:47
【问题描述】：

我正在尝试通过火花包使用 H2O.ai 的苏打水。我正在遵循他们的指南：https://github.com/h2oai/sparkling-water#use-sparkling-water-via-spark-packages 我正在使用带有 Scala 2.10 和 Spark 1.6.1 的 Hortonworks HDP 2.4。我在终端中输入了以下内容：

spark-shell --packages ai.h2o:sparkling-water-core_2.10:1.6.8,ai.h2o:sparkling-water-examples_2.10:1.6.8

但是，它抱怨找不到两个工件。详情如下：

:: problems summary ::
:::: WARNINGS
        [NOT FOUND  ] com.google.guava#guava;16.0.1!guava.jar(bundle) (1ms)
==== local-m2-cache: tried

  file:/root/.m2/repository/com/google/guava/guava/16.0.1/guava-16.0.1.jar

    [NOT FOUND  ] com.google.code.findbugs#jsr305;3.0.0!jsr305.jar (1ms)

==== local-m2-cache: tried

  file:/root/.m2/repository/com/google/code/findbugs/jsr305/3.0.0/jsr305-3.0.0.jar

    ::::::::::::::::::::::::::::::::::::::::::::::

    ::              FAILED DOWNLOADS            ::

    :: ^ see resolution messages for details  ^ ::

    ::::::::::::::::::::::::::::::::::::::::::::::

    :: com.google.guava#guava;16.0.1!guava.jar(bundle)

    :: com.google.code.findbugs#jsr305;3.0.0!jsr305.jar

    ::::::::::::::::::::::::::::::::::::::::::::::



:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS
Exception in thread "main" java.lang.RuntimeException: [download failed: com.google.guava#guava;16.0.1!guava.jar(bundle), download failed: com.google.code.findbugs#jsr305;3.0.0!jsr305.jar]
    at org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1068)
    at org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:287)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:154)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

任何人有任何经验我可以解决它吗？非常感谢。

【问题讨论】：

标签： apache-spark sparkling-water

【解决方案1】：

删除 ~/.m2 和 ~/ivy2 解决了使用 ai.h2o:sparkling-water-core_2.10:1.6.8 的问题

【讨论】：

我猜你的意思是~/.ivy2，因为它是一个隐藏目录。

【解决方案2】：

如果您在周围寻找错误“下载失败：com.google.guava#guava;16.0.1!guava.jar”，您会发现这主要是环境特定问题，在应用程序期间无法下载包推出。

您的解决方案可能是分别下载/安装两个失败的下载包，如下所示：

$ mvn install com.google.guava:guava:21.0:get -DrepoUrl=https://mvnrepository.com

【讨论】：

【解决方案3】：

好像要降低jar文件的版本

spark-shell --packages ai.h2o:sparkling-water-core_2.10:1.6.1,ai.h2o:sparkling-water-examples_2.10:1.6.1

或使用Sparkling Water Booklet 的第 5.1.1 节中建议的 fatjar

spark-shell --jars [your path]/sparkling-water-1.6.8/assembly/build/libs/sparkling-water-assembly-1.6.8-all.jar

解决了这个问题。其中sparkling-water-1.6.8是从H2O下载的

【讨论】：