【问题标题】:Can I have the command (dependency) for neo4j in build.sbt for spark 3 and scala 2.12 please?我可以在 build.sbt 中为 spark 3 和 scala 2.12 获取 neo4j 的命令(依赖项)吗?
【发布时间】:2021-08-11 04:18:29
【问题描述】:

我无法在“http://dl.bintray.com/spark-packages/maven”添加给定的“resolvers +=”Spark Packages Repo”

libraryDependencies += "org.neo4j" % "neo4j-connector-apache-spark_${scala.version}" % "4.0.1_for_spark_${spark.version}"

build.sbt 文件中的依赖命令。这会引发错误我可以知道正确的命令吗?

谢谢。

【问题讨论】:

    标签: apache-spark neo4j build sbt


    【解决方案1】:

    不幸的是,Bintray 关闭时出现了一些问题,并且我们的依赖项返回了 Forbidden 错误。

    您可以关注迁移到 Maven2 的进度here

    与此同时,您可以直接下载其中一个 JAR 并在 Scala 中使用它。

    您可以在 Github release page 中找到 JAR。

    你要使用的是neo4j-connector-apache-spark_2.12-4.0.2_for_spark_3.jar

    【讨论】:

    • 您好,感谢您的回复。我首先尝试使用以下命令通过 spark shell 连接: $SPARK_HOME/bin/spark-shell --jars neo4j-connector-apache-spark_2.12-4.0.1_for_spark_3.jar
    • 然后我所做的就是在 shell 中使用以下命令。最后一个命令给我一个错误。您可以观察到有什么问题吗? *import org.apache.spark.sql.{SaveMode, SparkSession} *val spark = SparkSession.builder().getOrCreate() *spark.read.format("org.neo4j.spark.DataSource").option("url ", "bolt://localhost:7687").option("authentication.basic.username", "neo4j").option("authentication.basic.password", "1234").option("query", " MATCH (n:Person) WITH n LIMIT 2 RETURN id(n) as id, n.name as name").load().show()
    • 无法连接到 localhost:7687,请确保数据库正在运行并且有可用的网络连接。在 org.neo4j.driver.internal.util.Futures.blockingGet(Futures.java:143) 在 org.neo4j.driver.internal.InternalSession.run(InternalSession.java:69) 在 org.neo4j.driver.internal.InternalSession .run(InternalSession.java:51) at org.neo4j.driver.internal.AbstractQueryRunner.run(AbstractQueryRunner.java:37) at org.neo4j.driver.internal.AbstractQueryRunner.run(AbstractQueryRunner.java:55)
    • 好吧,我猜你有一些身份验证问题。尝试添加这个选项 .option("authentication.type", "basic")。
    • 这与原始问题无关。在连接器存储库上打开问题或在此处提出新问题
    猜你喜欢
    • 2016-01-29
    • 2020-11-09
    • 2020-07-17
    • 2016-10-23
    • 1970-01-01
    • 2019-12-09
    • 1970-01-01
    • 2014-02-23
    • 2017-12-21
    相关资源
    最近更新 更多